Недавно у нас был случай, когда мы не смогли подключиться к нескольким мастерам в нашем кластере Redis.
Соединения из нашей кодовой базы истекли по тайм-ауту.Мы также не могли подключиться к ящику по SSH в течение этого периода, что, по сути, заблокировало нас.
Это случалось несколько раз, и каждый раз загрузка процессора составляла около 20%, а использование памяти также составляло около 20%. Количество TCP-соединений во время каждого события варьировалось от 7 до 12 тысяч, что намного ниже ожидаемого нами тревожного уровня.
Уже установленные соединения продолжали нормально функционировать. Среди этих существующих подключений были наши экспортеры метрик, поэтому они все еще могли собирать метрики по соединениям/процессору и т. д.
Входящие и исходящие сети будут медленно снижаться по мере того, как существующие соединения будут обрываться, однако новые вообще не смогут подключиться, как если бы они были отклонены сервером.
Мы проверили такие настройки, как SOMAXCONN и доступные файловые дескрипторы, но пока не смогли определить причину, по которой новые соединения не могли быть установлены, поскольку не было явных аномалий в какой-либо статистике, которую мы просмотрели до возникновения.
Серверы работают под управлением Amazon Linux 2 на типах инстансов x2gd.medium на AWS.
Довольно странной выглядела невозможность зайти по SSH, в то время как большая часть трафика была на другом порту.
Есть ли у кого-нибудь какие-либо идеи относительно того, почему соединения не могут быть установлены, в то время как все очевидные показатели казались в порядке?
