release 2013.11.18.1

[auengine] Simplify

Remove iPhone from user agent. This breaks a lot of extractors

In the future, it might be worth investigating whether we get better content when we claime to be an iPhone.

release 2013.11.18

Support multiple embedded YouTube URLs (Fixes #1787)

Support protocol-independent URLs (#1787)

Add iPhone to UA (#1746)

Suppor embed-only videos (Fixes #1746)

release 2013.11.17

[MTVIE] Try with RTMP URL if download fails

This fixes youtube-dl http://www.southpark.de/clips/155251/cartman-vs-the-dog-whisperer

Merge pull request #1784 from rzhxeo/southpark

Add support for southpark.de

Allow --console-title when --quiet is given (Fixes #1783)

Save and restore console title (Fixes #1782)

Add support for southpark.de

[SouthParkStudiosIE] Move from _TEST to _TESTS

[SouthParkStudiosIE] Also detect urls without http:// or www

Remove * imports

Move console_title to YoutubeDL

[youtube] Add view_count (Fixes #1781)

[arte] remove two typos

[redtube] Do not test md5, seems to vary

[gamekings] Do not test md5 sum, precise file changes regularly

[gamekings] remove unnecessary import

[tvp] Skip tests

[bambuser] Do not test for MD5, seems to be flaky

[dailymotion] Fix playlists

Fix indentation of (best) and (worst) in --list-formats

[spiegel] Implement format selection

Add automatic generation of format note based on bitrate and codecs

release 2013.11.15.1

[ted] Fix playlists (Fixes #1770)

[ted] simplify

[rtlnow] Remove the test for nitro

The videos expire.

Don't accept '>' inside the content attribute in OpenGraph regexes

Improve the OpenGraph regex

* Do not accept '>' between the property and content attributes.
* Recognize the properties if the content attribute is before the property attribute using two regexes (fixes the extraction of the description for SlideshareIE).

[tvp] Update the title and the description of the test video

[youtube:channel] Fix the extraction of autogenerated channels

The ajax pages are empty, now it looks directly in the channel's /videos page

Pass the 'download' argument to 'process_video_result' (fixes #1769)

release 2013.11.15

Merge branch 'master' of github.com:rg3/youtube-dl

[youtube] Fix protocol-independent URLs (Fixes #1768)

[soundlcoud] Set the correct extension for the tracks (fixes #1766)

Some tracks are not in mp3 format, they can be wav files.

[livestream] Add an extractor for the original version of livestream (closes #1764)

The two versions use different systems.

Don't assume the 'subtitlesformat' is set in the params dict (fixes #1750)

[gamekings] Fix the test video checksum

release 2013.11.13

Credit @saper for tvp IE (#1730)

[tvp] Minor improvements (#1730)

Merge remote-tracking branch 'saper/tvp'

Credit @jelly for gamekings extractor (#1759)

[gamekings] Minor fixes (#1759)

Add extractor for gamekings.tv

[vine] Fix uploader extraction

FFmpegMetadataPP: don't enclose the values with " (fixes #1756)

[common] Simplify og_search_property

release 2013.11.11

Clarify -c. Do not pass it in if you don't know what you're doing

Suggested in #1743

Use avconv for downloading with m3u8 manifests if it's available (fixes #1735)

 Use the 'rtmp_live'  field for the live parameter of rtmpdump

Merge remote-tracking branch 'rzhxeo/rtmpdump_live'

Merge all the subtitles test into a single file

They reuse a base class

[ted] Return a single info_dict for talks urls

It failed with the --list-subs option

Merge pull request #1705 from iemejia/master

[ted] support for subtitles

Merge pull request #1726 from saper/escaped

Fix AssertionError when og property not found

Fix the documentation of '--autonumber-size' (#1743)

it's '--auto-number' not '--autonumber'

Improve format listing for long format ids

Now arte.tv videos have quite long ids.

[arte] Improve the format sorting

Also use the bitrate.
Prefer normal version and sourds/mal version over original version with subtitles.

[arte] Make sure the format_id is unique (closes #1739)

Include the bitrate and use the height instead of the quality field.

[cnn] Accept www.cnn.com urls (fixes #1740)

[brightcove] the format function requires to specify the index in python2.6

[soundcloud] Allow to download tracks marked as not 'streamable'

They use the rtmp protocol but if the are marked as 'downloadable' it can use the direct download link.

[kankan] Fix the video url

It now requires two additional parameters, one is a timestamp we get from the getCdnresource_flv page and the other is a key we have to build.

Don't recode the video with m3u8 downloads (fixes #1741)

[brightcove] Set the 'Referer' header if the url has the 'linkBaseUrl' parameter (fixes #1553)

release 2013.11.07

Fix the report progress when file_size is unknown (#1731)

The report_progress function will accept eta and percent with None value and will set the message to 'Unknow ETA' or 'Unknown %'.
Otherwise the values must be numbers.

[xnxx] Accept urls that start with 'www' (fixes #1734)

release 2013.11.06.1

[brightcove] Support redirected urls from bcove.me (fixes #1732)

'bctid' needs to be changed to '@videoPlayer', and 'bckey' to 'playerKey'.

[youtube:channel] Fix the extraction

The page don't include the 'load more' button anymore, now we directly get the 'c4_browse_ajax' pages.

Add an extractor for eitb.tv (fixes #1608)

The BrighcoveExperience object doesn't contain the video id, the extractor adds it and passes the url to BrightcoveIE.

[brightcove] Extract all the available formats

Add an extractor for space.com (fixes #1718)

It uses Brightcove, but requires some special process for getting a url with the playerKey field in some videos

[brightcove] Change the 'videoId' or 'videoID' field to '@videoPlayer' (fixes #1697)

It seems to be needed when using the htmlFederated page

[brightcove] Add the extraction of the url from generic

tests: don't run the test if any of the extractors listed in the 'add_ie' field is marked as not working

release 2013.11.06

Fix reporting when file size is unkown (Fixes #1731)

Clean up imports

[tvp] Telewizja Polska: new extractor for tvp.pl, fixes #1719

Thanks-To: mplonski
https://github.com/mplonski/linux/blob/master/tvp-dl.py

Fix AssertionError when og property not found

On tvp.pl some webpages contain OpenGraph
metadata and some don't.

If og property is not found, _og_search_description
fails with

WARNING: unable to extract OpenGraph description; please report this issue on http://yt-dl.org/bug
Traceback (most recent call last):
  File "/usr/home/saper/bin/youtube-dl", line 18, in <module>
    youtube_dl.main()
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/__init__.py", line 766, in main
    _real_main(argv)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/__init__.py", line 719, in _real_main
    retcode = ydl.download(all_urls)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/YoutubeDL.py", line 715, in download
    videos = self.extract_info(url)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/YoutubeDL.py", line 348, in extract_info
    ie_result = ie.extract(url)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/common.py", line 125, in extract
    return self._real_extract(url)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/tvp.py", line 56, in _real_extract
    info['description'] = self._og_search_description(webpage)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/common.py", line 331, in _og_search_description
    return self._og_search_property('description', html, fatal=False, **kargs)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/common.py", line 325, in _og_search_property
    return unescapeHTML(escaped)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/utils.py", line 494, in unescapeHTML
    assert type(s) == type(u'')
AssertionError

The patch allows me to use:

  try:
    info['description'] = self._og_search_description(webpage)
    info['thumbnail'] = self._og_search_thumbnail(webpage)
  except RegexNotFoundError:
    pass

[ted] fixed error in case of no subtitles present

I created a test, but I leave it commented since TED videos get
new subtitles frequently.

Merge pull request #1724 from rzhxeo/generic_youtube

[GenericIE] Also detect youtube if src url of iframe is embedded in ' instead of "

[GenericIE] Also detect youtube if src url of iframe is embedded in ' instaed of "

[canal2c] Accept more urls (fixes #1723)

The url only needs to have the 'idVideo' field in the query, in any position.
We have to set the 'void=oui' in the webpage url, so that we get the file name.

[teamcoco] Parse the xml file and extract all the formats

Merge pull request #1693 from alexvh/teamcoco_fix

[teamcoco] Fix video url extraction for some videos

[youtube] Add description for YoutubeSearchDateIE (#1710)

Merge remote-tracking branch 'CBGoodBuddy/ytsearchtime'

release 2013.11.03