Рейтинг:0

Google Bot не может получить доступ к robots.txt и sitemap.xml в apache, размещенном на AWS EB.

флаг eg

У меня есть размещенный веб-сайт на AWS EB, работающий на apache. У меня есть конфигурация AWS EB по умолчанию и настройки брандмауэра по умолчанию. Тестер Google Bot может прочитать файл robots.txt, но сканер терпит неудачу. То же самое для sitemap.xml при использовании браузера, он работает. Требуется ли AWS EB и/или apache особая конфигурация, чтобы робот Google Bot мог получить доступ к файлу? на сайте apache я добавил в httpd.conf псевдоним для robots.txt, поскольку у нас есть несколько доменов, перенаправляемых на основной веб-сайт.

Псевдоним /robots.txt /var/www/mywebsite/robots.txt

К вашему сведению, другие боты-сканеры могут получить доступ к таким файлам, как bing, yandex, Screaming Frog,petalsearch и т. д. есть идеи? С уважением, Д

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.