Кэширование Nginx не работает для сканеров

Я использую кэширование Nginx в течение многих лет, но недавно заметил проблему, которая, как я подозреваю, возникает уже много лет.

Если я получаю доступ к странице, которая никогда не посещалась раньше, я, конечно, получаю промах кеша, обновляю страницу, и теперь это попадание в кеш.

Однако я заметил, что когда поисковые роботы, такие как Bingbot или Googlebot, сканируют сайт, страницы, которые они сканируют, никогда не кэшируются, они всегда остаются промахами кеша, пока я не посещу их вручную.

Есть ли где-нибудь в Nginx настройка, которая предотвращает кеширование страниц бот-трафиком?

К вашему сведению, я не отношусь к ботам иначе, чем к пользователям в моей конфигурации Nginx.

Вот пример моего конфига.

    proxy_socket_keepalive включен;
    прокси_перенаправление выключено;
    proxy_cache Google-кэш;
    proxy_cache_revalidate включен;
    proxy_ignore_headers Истекает Cache-Control;
    proxy_cache_use_stale ошибка тайм-аут обновления http_500 http_502 http_503 http_504;   
    proxy_cache_background_update включено; 
    proxy_cache_lock включен;


   proxy_cache_valid 200 206 304 306 301 302 404 410 300 с;