Рейтинг:0

wget ссылка с перенаправлением google

флаг cn

Получил страницу, полную загрузок, но все используют https://www.google.com/url?q=http://www.$$$/*.pdf&....

Я могу загрузить с http://www.$$$/*.pdf напрямую, но там более 50 файлов. Во всяком случае, чтобы избежать этого? Может ли wget это сделать? Я пытался, но он загружает только ссылки, которые находятся под www.google.com/

Любая помощь будет оценена по достоинству.

Рейтинг:0
флаг in

Вы могли бы использовать грэп -P чтобы отфильтровать настоящие ссылки и либо добавить в качестве входного файла () к wget используя замену процесса:

wget -i <(grep -Po '[?&]q=\K[^&]*' ссылки)

Однако я предполагаю, что встроенный URL-адрес закодирован в URL-адресе, тогда вам нужен шаг, чтобы отменить кавычки:

urldecode() { [ $# -eq 0 ] && str=$(</dev/stdin) || стр="$@"; : "${стр//+/}"; echo -e "${_//%/\x}"; }
wget -i <(grep -Po '[?&]q=\K[^&]*' ссылки | urldecode)

или с питонх urllib.parse.unquote:

wget -i <(python -c '
импортировать повторно
из urllib.parse импортировать без кавычек
с открытым ("ссылки") как f:
  для строки в f.readlines():
    url=re.search("([&?]q=)([^&]*)", строка)
    печать (без кавычек (url.group (2)))
')

(конечно, вы могли бы использовать питон заменить wget часть тоже...)

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.