Регистрация Войти
Рейтинг:2
lazarcelic avatar Drupal

файл robots.txt для каждой среды

флаг cn
lazarcelic

Мы используем Drupal 8.9, и у нас есть промежуточный сайт EC2 и наш основной сайт, которые используют одну и ту же кодовую базу.

Можно ли иметь отдельный файл robots.txt для каждого сайта (среды)?

Мы не хотим, чтобы сценический сайт отображался в результатах поиска.

69
0 + 0
8
Kevin avatar
флаг in
Kevin
Используйте модуль RobotsTxt.
3
Ответить
leymannx avatar
флаг ne
leymannx
Если речь идет о запрете роботов на сценическом сайте, я бы просто поместил базовую аутентификацию на стороне сервера, например .htpasswd, впереди. Пароль может быть простым, запоминающимся, если он нужен только для защиты от роботов.
0
Ответить
Рейтинг:2
leymannx avatar Drupal
флаг ne
leymannx

Есть РоботыTxt модуль, который после удаления файла robots.txt принимает конфигурацию для предоставления содержимого страницы /robots.txt.

Вместе с Разделение конфигурации модуль, вы можете заставить его воспроизводить разное содержимое для каждой среды.

Чтобы исключить повторное создание файла robots.txt Drupal по умолчанию во время формирования шаблонов, настройте сопоставление файлов в composer.json вот так:

"друпал-скаффолд": {
    "места": {
        "веб-корень": "веб/"
    },
    "отображение файлов": {
        «[веб-корень]/robots.txt»: ложь
    }
},
0 + 0
leymannx avatar
флаг ne
leymannx
RobotsTxt также удобен для мультисайтов.
0
Ответить
Рейтинг:1
Darvanen avatar Drupal
флаг in
Darvanen

Я исправляю корень .htaccess файл для перенаправления на файл deny-robots.txt (который будет отображаться как robots.txt в ответе) на основе домена, но вы можете легко использовать те же директивы в своей конфигурации apache:

RewriteEngine включен

# Запретить роботам везде, кроме производственной площадки
RewriteCond %{HTTP_HOST} !^www\.mysite\.com\.au$
Правило перезаписи ^robots.txt(\??.*)$ deny-robots.txt$1

Содержимое файла deny-robots.txt:

Пользовательский агент: *
Запретить: *
0 + 0
Darvanen avatar
флаг in
Darvanen
Причина, по которой я исправляю файл `.htaccess` drupal вместо того, чтобы помещать его в конфигурацию apache, заключается в том, что я использую одну и ту же конфигурацию apache на нескольких разных сайтах.
0
Ответить
флаг Moldova
Admin
Этот вопрос на других языках:

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.