youtube_dl/extractor/googlesearch.py

   1 from __future__ import unicode_literals
   2
   3 import itertools
   4 import re
   5
   6 from .common import SearchInfoExtractor
   7 from ..utils import (
   8     compat_urllib_parse,
   9 )
  10
  11
  12 class GoogleSearchIE(SearchInfoExtractor):
  13     IE_DESC = 'Google Video search'
  14     _MAX_RESULTS = 1000
  15     IE_NAME = 'video.google:search'
  16     _SEARCH_KEY = 'gvsearch'
  17     _TEST = {
  18         'url': 'gvsearch15:python language',
  19         'info_dict': {
  20             'id': 'python language',
  21             'title': 'python language',
  22         },
  23         'playlist_count': 15,
  24     }
  25
  26     def _get_n_results(self, query, n):
  27         """Get a specified number of results for a query"""
  28
  29         entries = []
  30         res = {
  31             '_type': 'playlist',
  32             'id': query,
  33             'title': query,
  34         }
  35
  36         for pagenum in itertools.count():
  37             result_url = (
  38                 'http://www.google.com/search?tbm=vid&q=%s&start=%s&hl=en'
  39                 % (compat_urllib_parse.quote_plus(query), pagenum * 10))
  40
  41             webpage = self._download_webpage(
  42                 result_url, 'gvsearch:' + query,
  43                 note='Downloading result page ' + str(pagenum + 1))
  44
  45             for hit_idx, mobj in enumerate(re.finditer(
  46                     r'<h3 class="r"><a href="([^"]+)"', webpage)):
  47
  48                 # Skip playlists
  49                 if not re.search(r'id="vidthumb%d"' % (hit_idx + 1), webpage):
  50                     continue
  51
  52                 entries.append({
  53                     '_type': 'url',
  54                     'url': mobj.group(1)
  55                 })
  56
  57             if (len(entries) >= n) or not re.search(r'id="pnnext"', webpage):
  58                 res['entries'] = entries[:n]
  59                 return res