[ted] Fix playlists (Fixes #1770)

[ted] simplify

[rtlnow] Remove the test for nitro

The videos expire.

Don't accept '>' inside the content attribute in OpenGraph regexes

Improve the OpenGraph regex

* Do not accept '>' between the property and content attributes.
* Recognize the properties if the content attribute is before the property attribute using two regexes (fixes the extraction of the description for SlideshareIE).

[tvp] Update the title and the description of the test video

[youtube:channel] Fix the extraction of autogenerated channels

The ajax pages are empty, now it looks directly in the channel's /videos page

Pass the 'download' argument to 'process_video_result' (fixes #1769)

release 2013.11.15

Merge branch 'master' of github.com:rg3/youtube-dl

[youtube] Fix protocol-independent URLs (Fixes #1768)

[soundlcoud] Set the correct extension for the tracks (fixes #1766)

Some tracks are not in mp3 format, they can be wav files.

[livestream] Add an extractor for the original version of livestream (closes #1764)

The two versions use different systems.

Don't assume the 'subtitlesformat' is set in the params dict (fixes #1750)

[gamekings] Fix the test video checksum

release 2013.11.13

Credit @saper for tvp IE (#1730)

[tvp] Minor improvements (#1730)

Merge remote-tracking branch 'saper/tvp'

Credit @jelly for gamekings extractor (#1759)

[gamekings] Minor fixes (#1759)

Add extractor for gamekings.tv

[vine] Fix uploader extraction

FFmpegMetadataPP: don't enclose the values with " (fixes #1756)

[common] Simplify og_search_property

release 2013.11.11

Clarify -c. Do not pass it in if you don't know what you're doing

Suggested in #1743

Use avconv for downloading with m3u8 manifests if it's available (fixes #1735)

 Use the 'rtmp_live'  field for the live parameter of rtmpdump

Merge remote-tracking branch 'rzhxeo/rtmpdump_live'

Merge all the subtitles test into a single file

They reuse a base class

[ted] Return a single info_dict for talks urls

It failed with the --list-subs option

Merge pull request #1705 from iemejia/master

[ted] support for subtitles

Merge pull request #1726 from saper/escaped

Fix AssertionError when og property not found

Fix the documentation of '--autonumber-size' (#1743)

it's '--auto-number' not '--autonumber'

Improve format listing for long format ids

Now arte.tv videos have quite long ids.

[arte] Improve the format sorting

Also use the bitrate.
Prefer normal version and sourds/mal version over original version with subtitles.

[arte] Make sure the format_id is unique (closes #1739)

Include the bitrate and use the height instead of the quality field.

[cnn] Accept www.cnn.com urls (fixes #1740)

[brightcove] the format function requires to specify the index in python2.6

[soundcloud] Allow to download tracks marked as not 'streamable'

They use the rtmp protocol but if the are marked as 'downloadable' it can use the direct download link.

[kankan] Fix the video url

It now requires two additional parameters, one is a timestamp we get from the getCdnresource_flv page and the other is a key we have to build.

Don't recode the video with m3u8 downloads (fixes #1741)

[brightcove] Set the 'Referer' header if the url has the 'linkBaseUrl' parameter (fixes #1553)

release 2013.11.07

Fix the report progress when file_size is unknown (#1731)

The report_progress function will accept eta and percent with None value and will set the message to 'Unknow ETA' or 'Unknown %'.
Otherwise the values must be numbers.

[xnxx] Accept urls that start with 'www' (fixes #1734)

release 2013.11.06.1

[brightcove] Support redirected urls from bcove.me (fixes #1732)

'bctid' needs to be changed to '@videoPlayer', and 'bckey' to 'playerKey'.

[youtube:channel] Fix the extraction

The page don't include the 'load more' button anymore, now we directly get the 'c4_browse_ajax' pages.

Add an extractor for eitb.tv (fixes #1608)

The BrighcoveExperience object doesn't contain the video id, the extractor adds it and passes the url to BrightcoveIE.

[brightcove] Extract all the available formats

Add an extractor for space.com (fixes #1718)

It uses Brightcove, but requires some special process for getting a url with the playerKey field in some videos

[brightcove] Change the 'videoId' or 'videoID' field to '@videoPlayer' (fixes #1697)

It seems to be needed when using the htmlFederated page

[brightcove] Add the extraction of the url from generic

tests: don't run the test if any of the extractors listed in the 'add_ie' field is marked as not working

release 2013.11.06

Fix reporting when file size is unkown (Fixes #1731)

Clean up imports

[tvp] Telewizja Polska: new extractor for tvp.pl, fixes #1719

Thanks-To: mplonski
https://github.com/mplonski/linux/blob/master/tvp-dl.py

Fix AssertionError when og property not found

On tvp.pl some webpages contain OpenGraph
metadata and some don't.

If og property is not found, _og_search_description
fails with

WARNING: unable to extract OpenGraph description; please report this issue on http://yt-dl.org/bug
Traceback (most recent call last):
  File "/usr/home/saper/bin/youtube-dl", line 18, in <module>
    youtube_dl.main()
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/__init__.py", line 766, in main
    _real_main(argv)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/__init__.py", line 719, in _real_main
    retcode = ydl.download(all_urls)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/YoutubeDL.py", line 715, in download
    videos = self.extract_info(url)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/YoutubeDL.py", line 348, in extract_info
    ie_result = ie.extract(url)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/common.py", line 125, in extract
    return self._real_extract(url)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/tvp.py", line 56, in _real_extract
    info['description'] = self._og_search_description(webpage)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/common.py", line 331, in _og_search_description
    return self._og_search_property('description', html, fatal=False, **kargs)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/common.py", line 325, in _og_search_property
    return unescapeHTML(escaped)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/utils.py", line 494, in unescapeHTML
    assert type(s) == type(u'')
AssertionError

The patch allows me to use:

  try:
    info['description'] = self._og_search_description(webpage)
    info['thumbnail'] = self._og_search_thumbnail(webpage)
  except RegexNotFoundError:
    pass

[ted] fixed error in case of no subtitles present

I created a test, but I leave it commented since TED videos get
new subtitles frequently.

Merge pull request #1724 from rzhxeo/generic_youtube

[GenericIE] Also detect youtube if src url of iframe is embedded in ' instead of "

[GenericIE] Also detect youtube if src url of iframe is embedded in ' instaed of "

[canal2c] Accept more urls (fixes #1723)

The url only needs to have the 'idVideo' field in the query, in any position.
We have to set the 'void=oui' in the webpage url, so that we get the file name.

[teamcoco] Parse the xml file and extract all the formats

Merge pull request #1693 from alexvh/teamcoco_fix

[teamcoco] Fix video url extraction for some videos

[youtube] Add description for YoutubeSearchDateIE (#1710)

Merge remote-tracking branch 'CBGoodBuddy/ytsearchtime'

release 2013.11.03

[viddler] Support non-digit IDs (Fixes #1714)

Merge pull request #1698 from rzhxeo/cinemassacre

[CinemassacreIE] Support more embed urls

Style fixes for extractors: remove spaces around (,),{ and }

Merge pull request #1679 from rzhxeo/mofosex

Add support for http://www.mofosex.com

Merge pull request #1677 from rzhxeo/xtube

Add support for http://www.xtube.com

Merge pull request #1676 from rzhxeo/extremetube

Add support for http://www.extremetube.com

Set the 'extractor_key' field in the info_dict

It's the string returned by the class method 'ie_key', which allows to retrieve the extractor with 'get_info_extractor'

Add the 'webpage_url' field to info_dict

The url for the video page, it must allow to reproduce the result.
It's automatically set by YoutubeDL if it's missing.

Set the extra_info inside YoutubeDL.process_ie_result and set only if the keys are missing

Add YoutubeSearchDateIE extractor to youtube.py & __init__.py, which searches by publication date.

[XTubeIE] Add description to TEST

[ExtremeTubeIE] Set age_limit to 18 and fix uploader extraction

Merge pull request #1678 from rzhxeo/keezmovies

[KeezMoviesIE] Detect URLs with numbers in the SEO part correct

[brightcove] Don't set the extension

If the video only has the 'FLVFullLengthURL' key, it can still be an mp4 file.

[exfm] skip tests

The site is down too often.

[youtube] Remove vevo test

The video is no longer available and it seems that vevo video don't use encrypted signatures anymore.

Merge remote-tracking branch 'iemejia/master'

[bambuser] Add an extractor for channels (closes #1702)

Merge branch 'ted_subtitles'

[ted] Added support for subtitle download

[subtitles] refactor to support websites with subtitle information the
webpage.

I added the parameter webpage, so now it's similar to the way automatic
captions are handled. This is an improvement needed for websites like
TED.

Add an extractor for bambuser.com (#1702)

[CinemassacreIE] Add live paramter to extracted info as a workaround

Add support for live parameter to rtmpdump

release 2013.11.02

[youtube] Encode subtitle track name in request (Fixes #1700)

Add an extractor for vk.com (closes #1635)

[metacafe] Fix support for age-restricted videos (fixes #1696)

The 'Content-Type' header must be set for disabling the family filter.
The 'flashversion' cookie  is only needed for AnyClip videos.
Added tests for standard metacafe videos and for age-restricted videos.
Also set the 'age_limit' field.

[CinemassacreIE] Support more embed urls

[teamcoco] Fix video url extraction for some videos

Video url extraction failed for some videos,
e.g. http://teamcoco.com/video/old-time-baseball

The url extracted was also occasionally suboptimal quality,
e.g. http://teamcoco.com/video/louis-ck-interview-george-w-bush