php-fpm и Apache 2 — анализ сообщений PHP: журналы

Недавно один из моих серверов был переведен на использование php-fpm.

Журналы ошибок теперь регистрируют 404 в новом формате:

[Вс, 26 декабря 00:11:37.827426 2021] [proxy_fcgi:ошибка] [pid 25239:tid
140600822003456] [клиент 66.249.66.136:37676] AH01071: Получена ошибка «Сообщение PHP: Файл
не существует: /ads.txt'
[Вс, 26 декабря 00:14:53.732771 2021] [proxy_fcgi:ошибка] [pid 24741:tid
140601015035648] [клиент 207.46.13.93:9600] AH01071: Получена ошибка «Сообщение PHP: Файл
не существует: /events/view/id/633/supercharge'

Ранее я использовал сценарий командной строки (используя аук), написанный одним из моих коллег много лет назад, для анализа журналов и извлечения URL-адресов с ошибкой 404, а затем проделал некоторую ручную работу в Excel, чтобы получить подсчет всех адресов, которые содержали ошибки, но получали разумное количество запросов. Мне достаточно удобно (с руководством по awk) обновлять этот скрипт...

Но прежде чем я прыгну и начну редактировать этот сценарий, я подозревал, что должен быть лучший способ анализировать эти большие файлы журналов. Любые предложения по лучшему подходу?

Вы, кажется, отправляете все запросы через proxy_fcgi. Если у вас есть php файлы на одном хосте, тогда вы можете использовать mod_rewrite чтобы проверить, существует ли файл перед отправкой запросов через proxy_fgci. Таким образом, вы можете стать нормальным 404вернулся.