Ubuntu Server 20.04 зависает каждые пару дней

Краткое введение

Через пару дней мой физический сервер продолжает зависать каждые 2 или 3 дня. Я уже заменил все оборудование, включая диски, и сделал новую установку Ubuntu.

Детали и выводы

Пока не повезло при поиске файлов журнала:

• Каждый системный журнал или файл журнала ядра показывает ^@^@^@^@^@^@^@^@^@^@^@^@ на момент заморозки. До этого подозрительного поведения не наблюдается как минимум за 15 минут до момента заморозки.
• можно найти журналы журнала с последней перезагрузки здесь. Поскольку я запускаю UFW, это немного грязно. заморозка произошла ок. 09:45ч.
• У меня есть сервер в моем мониторинге. Нет увеличения загрузки ЦП, ОЗУ, DiskIO, дискового пространства или трафика на сетевом интерфейсе незадолго до зависания. Процессор, оперативная память и дисковое пространство также не превышают предела.
• Как только сервер зависает, я больше ничего не могу делать в консоли. Мне нужно перезагрузить сервер (жесткий сброс), чтобы он снова заработал на пару дней.

Что я запускаю на сервере:

• нгинкс
• php-fpm
• ларавель 8
• уфв
• фейл2бан
• MySQL 8

Действия, которые я уже предпринял, найдены в похожих сообщениях:

• Отрегулируйте минимальную свободную оперативную память:
  • sysctl -w vm.min_free_kbytes = 235929
  • sysctl -w vm.swappiness=5

Поскольку большинство журналов показывают некоторые случайные признаки, я ценю любую помощь в том, что делать дальше. Я не знаю, что еще я мог бы проверить. Спасибо за любые советы и помощь!

1. Попробуйте разные версии ядра (ядра других версий Ubuntu, например, 18.04, 22.04, основную сборку ядра) и посмотрите, сохраняется ли проблема. Если ваш сервер не падает с другими версиями ядра, то вы имеете дело с ошибкой ядра, затрагивающей 20.04.
2. Кажется, даже если ядро ​​​​почувствует сбой, оно не сможет записать проблему в системный журнал. Проверьте, видите ли вы панику ядра на консоли, но если экран выключен, вы не можете снова включить его с разбитым ядром. Поэтому вы должны отключить экран, который гаснет из-за бездействия. Также вы можете попробовать использовать крашкернел (кдамп) чтобы получить больше информации о сбое; или вы, вероятно, можете перенаправить вывод консоли на последовательный порт и зарегистрировать вывод на внешнем устройстве, но я никогда не пробовал этого.
3. Вы также можете протестировать разные выпуски Ubuntu или, возможно, разные дистрибутивы Linux, но обычно в этом нет необходимости (сбои обычно вызваны ядром и его драйверами, дистрибутив, построенный вокруг него, редко имеет значение). Вы даже можете попробовать другую операционную систему, такую ​​как FreeBSD или Windows, чтобы проверить, продолжает ли компьютер зависать — если зависание происходит и с другими ОС, у вас определенно проблема с оборудованием.
4. Бег мемтест для обнаружения возможных неисправных модулей оперативной памяти. Memtest нуждается в полном контроле над компьютером (вы должны загрузить его вместо своей операционной системы), поэтому ваш сервер не может работать во время выполнения теста.
5. К сожалению, аппаратные сбои могут быть довольно коварными, когда неясно, в чем проблема. Я не знаю, что вы заменили, но у вас может быть даже неисправная материнская плата, процессор или блок питания. Однажды мой компьютер стал самопроизвольно выключаться. Сначала я понятия не имел, в чем причина, но потом выяснилось, что у моего шнура питания проблемы с контактом — его замена решила проблему.