С чего начать устранение неполадок с высокой средней нагрузкой?

У меня есть кластер kubernetes с 4 рабочими узлами (Ubuntu 20.04 с 4 ЦП), и я вижу высокую среднюю нагрузку на всех из них. Вот результат top на одном из узлов: вершина

Я не уверен, ожидается ли это, поскольку на этом узле работает 111 контейнеров. Может ли быть что-то еще, вызывающее высокую среднюю нагрузку, или это просто связано с тем, что у меня слишком много контейнеров, и мне просто нужно больше ресурсов?

Средняя загрузка — это количество запущенных или ожидающих запуска программ.

Верх хорош, но дает вам только половину картины — что-то работает или ожидает запуска в процессоре. Другая половина — это то, что ожидает завершения дискового ввода-вывода.

Для дискового ввода-вывода, на вершине красиво, попал г чтобы показать использование диска процессом. (Обычно вам нужно запустить его от имени пользователя root, чтобы получить это.)

Типичное эмпирическое правило заключается в том, что вы не хотите, чтобы средняя нагрузка превышала количество ядер на вашем хосте. Это идеальная ситуация. Идти выше этого не всегда проблема. По моему опыту, сама по себе средняя нагрузка не всегда является индикатором проблемы. Если у вас высокая нагрузка, высокая загрузка системного процессора или высокий iowait, то вы, вероятно, находитесь в плохом месте.

Что касается kubernetes, я часто слышу, что вам нужно установить лимиты ресурсов. Если у вас нет ограничений, то каждый модуль имеет полный доступ к узлу. Правильный размер приложений - это не просто IMO. Особенно, когда кажется, что все пытаются использовать не облачные нативные приложения в k8s.

В качестве предложения вы можете уменьшить свои рабочие нагрузки, добавить больше работников (увеличение масштаба) или добавить больше ресурсов в узлы (увеличение масштаба) или их комбинацию.