youtube-dl вдруг поломался

Victor Sudakov написал(а) к All в Feb 15 09:21:59 по местному времени:

From: Victor Sudakov <vas@mpeks.tomsk.su>

Коллеги,

youtube-dl вдруг перестал скачивать. Никто не знает причин?

$ youtube-dl 'https://www.youtube.com/watch?v=ahlp_1Нps8c'
[youtube] ahlp_1Нps8c: Downloading webpage
ERROR: Unable to download webpage: <urlopen error Tunnel connection failed: 302 Found> (caused by URLError(error('Tunnel connection failed: 302 Found',),))

--
Victor Sudakov, VAS4-RIPE, VAS47-RIPN
2:5005/49@fidonet http://vas.tomsk.ru/
--- ifmail v.2.15dev5.4

Alex Korchmar написал(а) к Victor Sudakov в Feb 15 20:31:13 по местному времени:

From: Alex Korchmar <noreply@linux.e-moe.ru>

Victor Sudakov <vas@mpeks.tomsk.su> wrote:

VS> youtube-dl вдруг перестал скачивать. Никто не знает причин?
вчера работал.

VS> $ youtube-dl 'https://www.youtube.com/watch?v=ahlp_1Нps8c'
/home/alex/src/youtube-dl/youtube-dl --encoding koi8-r 'https://www.youtube.com/watch?v=ahlp_1Нps8c'
[youtube] ahlp_1Нps8c: Downloading webpage
[youtube] ahlp_1Нps8c: Extracting video information
[youtube] ahlp_1Нps8c: Downloading DASН manifest
[download] Destination: UFOVNI Sighting - Burning 'V' Alien UFO Invades Sky Over Brazil-ahlp_1Нps8c.mp4
[download] 9.1% of 60.24MiB at 389.51KiB/s ETA 02:23

youtube-dl-2014.12.17.2.tar.gz

> Alex

--- ifmail v.2.15dev5.4

Victor Sudakov написал(а) к Alex Korchmar в Feb 15 11:47:08 по местному времени:

Dear Alex,

07 Feb 15 20:31, you wrote to me:

VS>> youtube-dl вдруг перестал скачивать. Никто не знает причин?
AK> вчера работал.
AK> youtube-dl-2014.12.17.2.tar.gz

Ага, thanks for the hint. У тебя версия более старая, а у меня похоже после pkg upgrade до youtube_dl-2015.01.25 он и перестал работать.

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Valentin Nechayev написал(а) к Victor Sudakov в Feb 15 10:21:35 по местному времени:

From: Valentin Nechayev <netch@segfault.kiev.ua>


>>> Victor Sudakov wrote:

VS> $ youtube-dl 'https://www.youtube.com/watch?v=ahlp_1Нps8c'
VS> [youtube] ahlp_1Нps8c: Downloading webpage
VS> ERROR: Unable to download webpage: <urlopen error Tunnel connection failed: 302 Found> (caused by URLError(error('Tunnel connection failed: 302 Found',),))


У меня ломается иначе.

ERROR: Unable to download webpage: <urlopen error [SSL: CERTIFICATEVERIFY_FAILED] certificate verify failed (_ssl.c:581)> (caused by URLError(SSLError(1, u'[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (ssl.c:581)'),))

Добавление --no-check-certificate лечит.
Дальше пока не раскопал.


--netch--
--- ifmail v.2.15dev5.4

Vitaly Zaitsev написал(а) к Valentin Nechayev в Feb 15 20:34:42 по местному времени:

Здpавствуй, Valentin!

Воскресенье 08 Февраля 2015 10:21, ты писал(а) Victor Sudakov:

VN> У меня ломается иначе.
VN> (caused by URLError(SSLError(1, u'[SSL: CERTIFICATEVERIFYFAILED]
VN> certificate verify failed (_ssl.c:581)'),))

Твой провайдер тебя MITM-ит. Меняй его на нормального, либо пересаживайся за VPN.

С уважением, Vitaly (zvitaly@easycoding.org)
--- Nothing is safe. Noone is safe.

Victor Sudakov написал(а) к Valentin Nechayev в Feb 15 23:01:44 по местному времени:

Dear Valentin,

08 Feb 15 10:21, you wrote to me:

VS>> $ youtube-dl 'https://www.youtube.com/watch?v=ahlp_1Нps8c'
VS>> [youtube] ahlp_1Нps8c: Downloading webpage
VS>> ERROR: Unable to download webpage: <urlopen error Tunnel
VS>> connection failed: 302 Found> (caused by URLError(error('Tunnel
VS>> connection failed: 302 Found',),))

VN> У меня ломается иначе.

VN> ERROR: Unable to download webpage: <urlopen error [SSL:
VN> CERTIFICATEVERIFY_FAILED] certificate verify failed (ssl.c:581)>
VN> (caused by URLError(SSLError(1, u'[SSL: CERTIFICATEVERIFYFAILED]
VN> certificate verify failed (_ssl.c:581)'),))

У меня если сделать unsetenv FTPPROXY НTTP_PROXY ftp_proxy httpproxy
то будет такая же ошибка, как у тебя.

VN> Добавление --no-check-certificate лечит.

Но добавление не лечит

$ youtube-dl --no-check-certificate 'https://www.youtube.com/watch?v=ahlp_1Нps8c'
[youtube] ahlp_1Нps8c: Downloading webpage
ERROR: Unable to download webpage: <urlopen error [SSL: CERTIFICATEVERIFY_FAILED] certificate verify failed (_ssl.c:581)> (caused by URLError(SSLError(1, u'[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (ssl.c:581)'),))

VN> Дальше пока не раскопал.


Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Valentin Nechayev написал(а) к Vitaly Zaitsev в Feb 15 20:51:56 по местному времени:

Нi,

>>>> Vitaly Zaitsev wrote:

VN>> У меня ломается иначе.
VN>> (caused by URLError(SSLError(1, u'[SSL:
VN>> CERTIFICATEVERIFYFAILED] certificate verify failed
VN>> (_ssl.c:581)'),))

VZ> Твой провайдер тебя MITM-ит. Меняй его на нормального, либо
VZ> пересаживайся за VPN.

Не вижу никаких причин для такого вывода. Браузеры работают без жалоб.
MITM на SSL возможен только если подсунуть фальшивый CA корень в браузер.
Но тогда будет видно в page info, что корень заменён.

Нет, это что-то таки локально сломалось.


-netch-

... Это не ключевой момент, а дополнительная неприятность.

---

Valentin Nechayev написал(а) к Vitaly Zaitsev в Feb 15 22:10:20 по местному времени:

Нi,

>>>> Valentin Nechayev wrote to Vitaly Zaitsev:

VZ>> Твой провайдер тебя MITM-ит. Меняй его на нормального, либо
VZ>> пересаживайся за VPN.

VN> Не вижу никаких причин для такого вывода. Браузеры работают без жалоб.
VN> MITM на SSL возможен только если подсунуть фальшивый CA корень в
VN> браузер. Но тогда будет видно в page info, что корень заменён.

VN> Нет, это что-то таки локально сломалось.

Подтверждается поломкой банальнейшего скрипта из:

import urllib2
r = urllib2.urlopen('https://www.youtube.com/')

Починилось копированием Equifax'овского root CA (под которым гуглёвые домены)
в /etc/ssl/certs/594f1775.0. До этого ему не нужно было (вообще корни
не проверял?)

Связываю это с обновлением питона на 2.7.9, ибо в release notes последнего:

The entirety of Python 3.4's ssl module has been backported for Python 2.7.9. See PEP 466 for justification.

в сочетании с openssl 0.9 из базовой версии это может давать интересные эффекты...


-netch-

---

Victor Sudakov написал(а) к Valentin Nechayev в Feb 15 10:10:48 по местному времени:

Dear Valentin,

08 Feb 15 22:10, you wrote to Vitaly Zaitsev:

VN>> Нет, это что-то таки локально сломалось.

VN> Подтверждается поломкой банальнейшего скрипта из:

VN> import urllib2
VN> r = urllib2.urlopen('https://www.youtube.com/')

VN> Починилось копированием Equifax'овского root CA (под которым гуглёвые
VN> домены) в /etc/ssl/certs/594f1775.0. До этого ему не нужно было
VN> (вообще корни не проверял?)

У меня в /usr/local/etc/ssl/cert.pem полно сертификатов Equifax-а, а не качает. Какой именно сертификат Equifax-а надо туда положить, скажи какой-нибудь идентификатор пожалуйста.

Причем даже с ключом --no-check-certificate не качает. А вот с ключом --prefer-insecure таки качает.

Victor Sudakov, VAS4-RIPE, VAS47-RIPN
--- GoldED+/BSD 1.1.5-b20110223-b20110223

Valentin Nechayev написал(а) к Victor Sudakov в Feb 15 09:09:32 по местному времени:

From: Valentin Nechayev <netch@segfault.kiev.ua>


>>> Victor Sudakov wrote:

VN>> import urllib2
VN>> r = urllib2.urlopen('https://www.youtube.com/')

VN>> Починилось копированием Equifax'овского root CA (под которым гуглёвые
VN>> домены) в /etc/ssl/certs/594f1775.0. До этого ему не нужно было
VN>> (вообще корни не проверял?)

VS> У меня в /usr/local/etc/ssl/cert.pem полно сертификатов Equifax-а, а не качает.

У тебя там ссылка на комплект из carootnss, такого вида

# ls -l /usr/local/etc/ssl/cert.pem
lrwxr-xr-x 1 root wheel 38 Dec 13 08:47 /usr/local/etc/ssl/cert.pem -> /usr/local/share/certs/ca-root-nss.crt

да? А ты различие версий OpenSSL (базовой и портовой) учёл? Базовая
хочет не /usr/local/etc/ssl, а /etc/ssl, соответственно, для проверки
надо симлинк cert.pem для сертификатов из carootnss подсунуть и
туда.

Впрочем, у тебя какое-то заметно иное сообщение ошибки, и может
потребоваться копать глубже. У меня полечилось через симлинк
/etc/ssl/cert.pem независимо от конкретного сертификата - оставлю так,
это надёжнее (по крайней мере пока в carootnss не бред;))

VS> Какой именно сертификат Equifax-а надо туда положить, скажи какой-нибудь
VS> идентификатор пожалуйста.

Если речь именно про youtube, порядок действий:
1. Открываешь его браузером (Firefox, Chrome - без разницы)
2. Идёшь на page info контекстным меню (правая кнопка мыши), там
вкладку security (альтернативно - на иконке замка в адресной строке),
далее кнопку View certificate, в открывшемся - вкладку Details.
Видишь иерархию сертификатов - выбираешь самый верхний и тыкаешь
кнопку Export. Сохранённое на диске проверяешь:

$ /usr/bin/openssl x509 -hash -noout -in ~/tmp/BuiltinObjectToken\:EquifaxSecureCA
594f1775

если получилось что надо, выдаст хэш, как в этом примере; копируешь
файл в /etc/ssl/certs/${hash}.0, и должно его ловить после этого.

NB: OpenSSL начиная с 1.0 изменила метод подсчёта хэша, для
старого (если надо) есть ключик -oldsubjecthash вместо -hash. Ну и
целевой каталог, понятно, иной.

VS> Причем даже с ключом --no-check-certificate не качает. А вот с ключом
VS> --prefer-insecure таки качает.

Таки выглядит как что-то другое. Ну попробуй.


--netch--
--- ifmail v.2.15dev5.4