Добрый день,
Я видел много подобных вопросов, но я не видел ничего похожего на мою ситуацию. Я не уверен, что это правильное или лучшее место, чтобы спросить.
Проблема, с которой я столкнулся, заключается в том, что у меня есть скрипт Python, использующий Selenium, для отправки запроса на веб-сайт. Из всего, что я пробовал, я не могу понять, в чем проблема.
Вот конкретная ситуация:
У меня есть две капли Digital Ocean, работающие в одном регионе. DO1 содержит мой скрипт Python, использующий селен для .получить(URL) ресурс.
DO2 содержит мой прокси-сервер socks5. Настройка с ssh -f -N -D 0.0.0.0:1080 локальный хост.
Теперь, если я запускаю следующее:
- DO1 запросы https://www.google.com с нет прокси = Нет проблем, запрос ~0,8 сек.
- DO1 запросы https://www.google.com с прокси = Нет проблем, запрос ~1,1 сек.
Теперь вот проблема.
Когда я использую DO1 для запроса другого веб-сайта (https://mywebsite2.ru/) через прокси, ответ занимает ~3 минуты. Он действительно реагирует, он очень медленный, как будто его понерфили. И это совершенно новая капелька.
Прокси будет выводить 3 раза на каждый запрос канал X: ошибка открытия: ошибка подключения: время ожидания соединения истекло
Я пробовал создать прокси на новой капле в другом регионе - тот же эффект.
Если я попытаюсь использовать DO1 для прямого запроса, та же проблема. Ответ занимает ~3 минуты.
Теперь я подумал, что сами IP-адреса могут быть испорчены. Если я использую DO1 для завиток тот же сайт, я сразу получаю результаты. Если я использую DO1 для завиток сайт через прокси, сразу получаю результаты.
Selenium имеет заголовок браузера, прикрепленный к запросу, я не верю, что curl делает это по умолчанию. Я также пытался изменить их вокруг.
Поэтому я не уверен, как решить эту проблему. (1) я не уверен, что может быть причиной ослабления скриптов Python, и (2) я не уверен, что я могу попробовать и изучить в настоящее время, чтобы найти проблему.
Надеюсь, меня направят в правильном направлении.
