Предыстория: Наш домен page.et недоступен для Google удобный для мобильных устройств инструмент проверки и консоль поиска. Похоже, то же самое верно и для всех других .et домены, которые я тестировал.
Причина не в файле robots.txt. Бот Google даже не пытается подключиться к серверу (проверено через tcpdump)
Я хочу понять техническую подоплеку следующего ответ другому пользователю с похожей/такой же проблемой:
(с русского через Google Translate)
Здравствуйте Александр!
На данный момент узнал только, что проблема на стороне серверов имен .et - они "блокируют" гуглбота
Соответственно, ни вы, ни Google, на данный момент, не имеете возможности напрямую влиять на решение этого вопроса.
Специалисты Google пытаются связаться с представителями NS .et для разрешения сложившейся ситуации
К сожалению, никаких гарантий/сообщений о времени, когда этот вопрос будет решен, нет.
Так как же сервер имен/зона может «заблокировать» бота Google?
И как можно проверить такой блок?
Домен может быть разрешен собственным сервером имен Google 8.8.8.8 (проверено копать page.et @ 8.8.8.8) и я бы поверил, что бот Google использует тот же сервер имён
Примечание: я также опубликовано на форуме поддержки Google для веб-мастеров но здесь я хотел бы понять техническую подоплеку того, как сервер имен может заблокировать доступ к сайту боту Google или любому другому HTTP-клиенту.
