Регистрация Войти
Рейтинг:0
avatar Server

wget: редактируйте неработающие ссылки во время сканирования перед их посещением

флаг in
user136036

Ситуация:
Я хочу отразить старый веб-сайт. Этот веб-сайт находится на https://example.com/веб-сайт/. На сайте используются абсолютные ссылки на http://www.example.com/веб-сайт/.

Проблема:
По какой-то причине wget не может связаться https://www.example.com (папка www.), соединение просто истечет по тайм-ауту - не знаю почему, в браузере все работает нормально (кстати, ни один из них не может закручиваться).

Возможные решения:

  • Попросите wget переписать ссылки, прежде чем переходить по ним, пока он еще сканируется.
  • Заставьте wget работать с адресом www. папка.

Чтобы, возможно, заставить .www работать, я уже пытался установить пользовательский агент на FF: --header="Принять: текст/html" --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0" но это не сработало.

Так что мне как-то нужно переписать ссылки на этом сайте во время сканирования.

24
0 + 0
флаг in
Gerald Schneider
Невозможно с чистым wget. Узнайте, почему истекло время ожидания.
0
Ответить
флаг us
vaizki
Так же как и ссылки на URL-адреса «https:» или «http:»... вы говорите об обоих.
0
Ответить
флаг in
user136036
Я понятия не имею, как я мог узнать, почему www. не работает. Отладка wget/curl не дает подсказки. Ссылки ведут на http:, но это не имеет особого значения, так как HSTS применяет https:. Сервер отлично работает с https, в том числе и с www. папка. Если я запускаю ту же команду wget со своего домашнего ПК, она загружает все, как и ожидалось (в моем вопросе я запускаю wget со своего сервера, но это также не блокировка IP, потому что работает не-www. (обычно я сканирую `https: //example.com/site/` без проблем)).
0
Ответить
флаг Moldova
Admin
Этот вопрос на других языках:

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.