Merge remote-tracking branch 'origin/master'

[youtube] Fix login (Fixes #1681)

[tests] a HTTP 503 is a transient issue

[mtv] Remove the templates from the mediagen url

Fix YouTubeDL test

[tests] don't fail on network errors

This is suboptimal, but at least this way we will need to look at the logs
only to check for network errors that happen too often, instead of
parsing a ton of lines each time to see if there is some true test failing

Add an extractor for MySpace (closes #1666)

tests: build the filename from the info_dict if the 'file' key is missing

It will need to have the 'id' and 'ext' keys to work.

setup.py: Make sure the setuptools_available variable is set

Otherwise it would crash if it can't import setuptools.

Merge pull request #1675 from rzhxeo/fix

Check if description and thumbnail are None to prevent crash

Check if description and thumbnail are None to prevent crash

Make "requested format not available" expected (#1655)

mixcloud does not do any format selection

release 2013.10.28

[vimeo] Support hash in URL (Fixes #1669)

Nicer --list-formats output

Let extractors omit ext in formats

[addanime] Use new formats system

Merge remote-tracking branch 'origin/master'

New debug option --write-pages

[Instagram] get the non-https link, as they are serving Akamai cert from a instagram.com domain

Merge pull request #1620 from jaimeMF/console_script

Use the console_scripts entry point if setuptools is available

Add the missing age_limit tags; added a devscript to do a superficial check for porn sites without the age_limit tag in the test

Merge pull request #1657 by @rzhxeo

[YouPornIE] Extract all encrypted links and remove doubles at the end

Merge pull request #1659 by @rzhxeo

Add support for http://www.tube8.com

Merge pull request #1663 by @rzhxeo

Add support for http://www.spankwire.com

Merge pull request #1664 by @rzhxeo

Add support for http://www.keezmovies.com

Merge pull request #1661 by @rzhxeo

Add support for http://www.pornhub.com

[Exfm] replace the failing Soundcloud test vector (broken also in browser)

Merge pull request #1660 from pyed/master

[addanime] try to download HQ before normal

Merge pull request #1656 from rzhxeo/xhamster

[XHamsterIE] Extract SD and HD video

[addanime] better regex.

[generic] Detect bandcamp pages that use custom domains (closes #1662)

They embed the original url in the 'og:url' property.

[rtlnow] Change the test for rtlnitronow

[generic] Fix test video's checksum

[faz] Use a regex for getting the description

The page cannot be parsed in python2.6 with the html parser.

[KeezMoviesIE] Correct return value for embedded videos

[facebook] Don't recommend to report the issue if the video is private.

[facebook] Report a more meaningful message if the video cannot be accessed (closes #1658)

[facebook] Fix the login process (fixes #1244)

[addanime] fix md5sum

[addanime] catch 'RegexNotFoundError'

Add support for http://www.keezmovies.com

Add support for http://www.spankwire.com

[Tube8IE] Fix regex for uploader extraction

Add support for http://www.pornhub.com

[Tube8IE] Escape dot in regex

[addanime] try to download HQ before normal

[YouPornIE] Make webpage download more robust

Add support for http://www.tube8.com

[YouPornIE] Extract all encrypted links and remove doubles at the end

[XHamsterIE] Extract SD and HD video

[8tracks] Use track count instead of looking at at_last_track property

This fixes the error:

$ youtube-dl http://8tracks.com/vladmc/counting-stars
[8tracks] counting-stars: Downloading webpage
[8tracks] counting-stars: Downloading song information 1/4
[8tracks] counting-stars: Downloading song information 2/4
[8tracks] counting-stars: Downloading song information 3/4
[8tracks] counting-stars: Downloading song information 4/4
[8tracks] counting-stars: Downloading song information 5/4
Traceback (most recent call last):
  File "/usr/lib/python2.7/runpy.py", line 162, in _run_module_as_main
    "__main__", fname, loader, pkg_name)
  File "/usr/lib/python2.7/runpy.py", line 72, in _run_code
    exec code in run_globals
  File "/home/phihag/projects/youtube-dl/youtube_dl/__main__.py", line 18, in <module>
    youtube_dl.main()
  File "/home/phihag/projects/youtube-dl/youtube_dl/__init__.py", line 761, in main
    _real_main(argv)
  File "/home/phihag/projects/youtube-dl/youtube_dl/__init__.py", line 714, in _real_main
    retcode = ydl.download(all_urls)
  File "/home/phihag/projects/youtube-dl/youtube_dl/YoutubeDL.py", line 701, in download
    videos = self.extract_info(url)
  File "/home/phihag/projects/youtube-dl/youtube_dl/YoutubeDL.py", line 342, in extract_info
    ie_result = ie.extract(url)
  File "/home/phihag/projects/youtube-dl/youtube_dl/extractor/common.py", line 121, in extract
    return self._real_extract(url)
  File "/home/phihag/projects/youtube-dl/youtube_dl/extractor/eighttracks.py", line 111, in _real_extract
    'id': track_data['id'],
KeyError: 'id'

Document the %(format_id)s field for the output template

[youtube] Set the format_id field to the itag of the format (closes #1624)

Fix the extensions of two tests with youtube videos

The best quality is now a mp4 video.

[youtube] Also use the 'adaptative_fmts' field from the /get_video_info page (fixes #1649)

The 'adaptative_fmts' field from the video page is not added to the 'url_encoded_fmt_stream_map'

[cinemassacre] Simplify

* Remove some rtmp parameters that are not needed.
* Remove the md5 checksums, the video is not downloaded.
* Remove the code used before the current format system.

Merge pull request #1632 from rzhxeo/cinemassacre

[Cinemassacre] Download video that is shown in flash player

release 2013.10.23.2

[dailymotion] Extract all the available formats (closes #1028)

[nowvideo] Fix key extraction

Extract it from the embed page

Hide the video password on verbose mode

[vimeo] fix the extraction for videos protected with password

Added a test video.

release 2013.10.23.1

[vimeo] Fix pro videos and player.vimeo.com urls

The old process can still be used for those videos.
Added RegexNotFoundError, which is raised by _search_regex if it can't extract the info.

Merge remote-tracking branch 'origin/master'

[vimeo] Fix normal videos (Fixes #1642)

Vimeo Pro Videos are still broken

Merge pull request #1622 from rbrito/fix-extension

extractor: youtube: Set extension of AAC audio formats to m4a.

release 2013.10.23

release 2013.10.22

Merge remote-tracking branch 'origin/master'

Conflicts:
youtube_dl/YoutubeDL.py

Expand tilde in template (Fixes #1639)

[arte.tv:creative] Update the title of the test

[nhl:videocenter] Fix playlist title extraction

Style fixes in YoutubeDL.py

Fixed some of the problems reported by pep8

Respect the download parameter in YoutubeDL.process_video_result if the extractor handle the format selection

[vimeo] Implement the new format selection system (closes PR #996)

Rebased and deleted some parts to use the new system instead of copying the one from YoutubeIE

[youtube] Use 'node is None' when checking if the video has automatic captions

It had stopped working and it reports a FutureWarning

Fix the duration field for the VideoDetective and InternetVideoArchive tests

Also remove the use of the old format system and the comment

[googleplus] Fix upload_date extraction

[arte] Set the format_note and the format_id fields (closes #1628)

The 'format' field now defaults to '{format_id} - {width}x{height}{format_note}'

Following the YoutubeIE format. The 'format_note' gives additional info about the format, for example '3D' or 'DASH video'.

YoutubeDL: remove method that came from FileDownloader

Allow to use the extension for the format selection

The best format with the extension is downloaded.

Accept requested formats to be in the format 35/best (closes #1552)

The format selection code is now an independent function.

Merge remote-tracking branch 'rbrito/set-age'

Conflicts:
youtube_dl/extractor/xhamster.py

[xhamster] Add support for age_limit (Instead of #1627)

extractor: Set age limit on some adult-related extractors.

More age limit of videos for adult-related sites.

Note that, for redtube, I explicitly left the variable containing the age
limit, since the comment justifying the age limit is a good thing to have.

That being said, I included the age limit field on the test, to better
reflect what the information extractor does (even if it may not break the
automated tests).

Signed-off-by: Rogério Brito <rbrito@ime.usp.br>

[CinemassacreIE] Fix information extraction

Add an author email

extractor: Set age limit on some adult-related extractors.

This is similar in spirit to what was done in commit 8e590a117f.

Signed-off-by: Rogério Brito <rbrito@ime.usp.br>

extractor: youtube: Fix extension of dash formats.

While we are at it, separate the audio formats from the video formats.

Signed-off-by: Rogério Brito <rbrito@ime.usp.br>

[xnxx] Add age_limit

Simplify release process

release 2013.10.18.2

[bash-completion] Do not use dash in function name (Fixes #1623)

Add new option --abort-on-error

Document %(format)s (#1612)

extractor: youtube: Set extension of AAC audio formats to m4a.

This, in particular, eases downloading both audio and videos in DASH formats
before muxing them, which alleviates the problem that I exposed on issue

Furthermore, one may argue that this is, indeed, the case for correctness's
sake.

Signed-off-by: Rogério Brito <rbrito@ime.usp.br>