[YoutubeDL] rework how the format spec is processed

The spec string is processed using 'tokenize.tokenize' to split it in words and operators, the filters are still processed using regular expressions.
This should make easier to allow grouping operators with parens.

[twitch:vod] Update _TEST

The original test case is gone

[twitch:vod] Fix 'Source' format in m3u8 (closes #6115)

[twitter:card] Add extractor (#5239)

[downloader/external] Fix externals downloaders specified with extension on Windows

[smotri] Add tests for password protected videos

[smotri] Remove non relevant test

[smotri] Fix password protected video extraction

Merge pull request #6081 from yan12125/skip_problematic_sites

[planetaplay/quickvid/vube] Skip inaccessible sites

[snagfilms] More tests

[snagfilms] Capture not available error

[snagfilms:embed] Capture geolocation restriction error

[snagfilms] Add support for shows

Merge branch 'remitamine-snagfilms'

[extractor/generic] Add test for snagfilms embeds

[extractor/generic] Add support for snagfilms embeds

[snagfilms] Add routine for generic embeds extractions

[snagfilms] Improve and simplify

[newstube] style: fix alignment

[newstube] Fix GUID extraction (fixes #6109)

Merge branch 'snagfilms' of https://github.com/remitamine/youtube-dl into remitamine-snagfilms

download all pages before start extracting info

[options] Add missing whitespace and split lines

[vk] Fix authentication (Closes #6105)

[youtube] More useful messages for georestricted videos (#5716)

[utils] Add ISO3166Utils

add support for embed links

remove unnecessary symbolic name for group

convert tabs to 4 spaces identation

[snagfilms] Add new extractor

[lynda] Fix non-ASCII logins/passwords on python 2

[lynda] Fix confirm login request (#6088)

[lynda] Fix login request (Closes #6088)

[infoq] Relax _VALID_URL (Closes #6071)

[downloader/external] Add downloader for httpie (closes #6079)

[planetaplay/quickvid/vube] Skip inaccessible sites

[thesixtyone] Modernize

[thesixtyone] Fix audio_server

Some of the songs are moved to Amazon AWS

release 2015.06.25

[README.md] Fix typo

[extractor/generic] Add test for OnionStudios embeds

[extractor/generic] Add support for OnionStudios embeds (Closes #5841)

[onionstudios] Add generic embed extraction routine

[onionstudios] Add extractor

[soundcloud:user] Add test

[soundcloud] Improve _VALID_URL

Do not takeover soundcloud:user URLs

Merge pull request #5961 from dstftw/force-generic-extractor

Add --force-generic-extractor

Merge pull request #6067 from mitsukarenai/master

[noco.tv] Fix issue #6066: title interpreted as integer

[noco.tv] Fix issue #6066: title interpreted as integer

[drbonanza] Fix extraction of videos

[extractor/generic] Clarify generic extraction warning

[brightcove] Use `compat_xml_parse_error` (Closes #6060)

[faz] Extend _VALID_URL (Closes #6050)

[xhamster] pep8: remove trailing ';'

[generic/adobetv] Support AdobeTVVideo embeds (#6039)

[extractor/generic] Add test for xhamster embed

[generic] Add support for xhamster embeds

[xhamster:embed] Add extractor (Closes #6032)

[sohu] Fix extraction again

Revert "[sohu] Update extractor"

This reverts commit 32060c6d6b618fa858b2ce43db34d02fd43bc542.

[francetvinfo.fr] Support dmcloud embeds (fixes #6034)

[dailymotion/generic] Add DailymotionCloudIE

[bbccouk] Remove TTML to srt conversion codes

It's broken. See #6038

[utils] Support ttaf1 namespace in TTML

It's found in bbc.co.uk. See #6038

[adobetv] Support embeddable videos (closes #6039)

[utils/ffmpeg] Move ISO 639 related codes to utils

[tumblr] Support Vimeo embeds (fixes #5969)

[vimeo/generic] Move detection logic from GenericIE to VimeoIE

[pinkbike] PEP8

[imdb] Fix extraction

[xvideos] Support lower-quality formats found on Android

Closes #5968

[viki] Pass session token around (#6005)

Merge branch 'misterhat-pinkbike'

[pinkbike] Improve and simplify

Merge branch 'pinkbike' of https://github.com/misterhat/youtube-dl into misterhat-pinkbike

[dramafever:series] Fix extraction while authenticated

[dramafever] Add support for authentication (Closes #6017)

[youtube] Add itag 59 and 78 (Closes #5979)

[pornhub] Extend _VALID_URL (Closes #6019)

[viki] Add support for authentication (Closes #6005)

[postprocessor/embedthumbnail] Skipping if thumbnail file missing

Fixes #5996

[bbccouk] Fix description (closes #6006)

[bbccouk] Fix error handling

[lifenews] Fix tests

[lifenews] Modernize

[lifenews] Fix extraction

[spankwire] Fix extraction

[youku] Simplify a bit the 'entries' construction

Mainly avoid having to use an index.

Credit @jackyzy823 for iqiyi

Merge branch 'PeterDing-youku'

[YoutubeDL] Youku extractor now uses the standard format selection

[youku] Coding style

[youku] Add cn_verification_proxy support and add a georestricted test case

[youku] Better error handling

[youku] Change video_id and add a multipart test case

[safari] Add test for #5985

[youku] Add a v.swf test case

Merge pull request #5985 from zx8/master

[safari] make url regex more lenient

[youku] Use _match_id

[francetv] Update f4m manifest token URL (Closes #5981, Closes #5989)