youtube_dl/extractor/ndr.py

   1 # encoding: utf-8
   2 from __future__ import unicode_literals
   3
   4 import re
   5
   6 from .common import InfoExtractor
   7 from ..utils import (
   8     ExtractorError,
   9     int_or_none,
  10     qualities,
  11 )
  12
  13
  14 class NDRIE(InfoExtractor):
  15     IE_NAME = 'ndr'
  16     IE_DESC = 'NDR.de - Mediathek'
  17     _VALID_URL = r'https?://www\.ndr\.de/.+?(?P<id>\d+)\.html'
  18
  19     _TESTS = [
  20         {
  21             'url': 'http://www.ndr.de/fernsehen/media/dienordreportage325.html',
  22             'md5': '4a4eeafd17c3058b65f0c8f091355855',
  23             'note': 'Video file',
  24             'info_dict': {
  25                 'id': '325',
  26                 'ext': 'mp4',
  27                 'title': 'Blaue Bohnen aus Blocken',
  28                 'description': 'md5:190d71ba2ccddc805ed01547718963bc',
  29                 'duration': 1715,
  30             },
  31         },
  32         {
  33             'url': 'http://www.ndr.de/info/audio51535.html',
  34             'md5': 'bb3cd38e24fbcc866d13b50ca59307b8',
  35             'note': 'Audio file',
  36             'info_dict': {
  37                 'id': '51535',
  38                 'ext': 'mp3',
  39                 'title': 'La Valette entgeht der Hinrichtung',
  40                 'description': 'md5:22f9541913a40fe50091d5cdd7c9f536',
  41                 'duration': 884,
  42             }
  43         }
  44     ]
  45
  46     def _real_extract(self, url):
  47         mobj = re.match(self._VALID_URL, url)
  48         video_id = mobj.group('id')
  49
  50         page = self._download_webpage(url, video_id, 'Downloading page')
  51
  52         title = self._og_search_title(page).strip()
  53         description = self._og_search_description(page)
  54         if description:
  55             description = description.strip()
  56
  57         duration = int_or_none(self._html_search_regex(r'duration: (\d+),\n', page, 'duration', fatal=False))
  58
  59         formats = []
  60
  61         mp3_url = re.search(r'''\{src:'(?P<audio>[^']+)', type:"audio/mp3"},''', page)
  62         if mp3_url:
  63             formats.append({
  64                 'url': mp3_url.group('audio'),
  65                 'format_id': 'mp3',
  66             })
  67
  68         thumbnail = None
  69
  70         video_url = re.search(r'''3: \{src:'(?P<video>.+?)\.hi\.mp4', type:"video/mp4"},''', page)
  71         if video_url:
  72             thumbnails = re.findall(r'''\d+: \{src: "([^"]+)"(?: \|\| '[^']+')?, quality: '([^']+)'}''', page)
  73             if thumbnails:
  74                 quality_key = qualities(['xs', 's', 'm', 'l', 'xl'])
  75                 largest = max(thumbnails, key=lambda thumb: quality_key(thumb[1]))
  76                 thumbnail = 'http://www.ndr.de' + largest[0]
  77
  78             for format_id in 'lo', 'hi', 'hq':
  79                 formats.append({
  80                     'url': '%s.%s.mp4' % (video_url.group('video'), format_id),
  81                     'format_id': format_id,
  82                 })
  83
  84         if not formats:
  85             raise ExtractorError('No media links available for %s' % video_id)
  86
  87         return {
  88             'id': video_id,
  89             'title': title,
  90             'description': description,
  91             'thumbnail': thumbnail,
  92             'duration': duration,
  93             'formats': formats,
  94         }