Регистрация Войти
Рейтинг:0
avatar Server

Как исправить etcd в кластере kuberentes?

флаг us
Antoine

У меня есть кластер kubernetes с «голым железом» (kubeadm), который действительно нестабилен, и я отследил его до проблемы с etcd.

Из описания модуля etcd я получаю:

Изображение: k8s.gcr.io/etcd:3.4.13-0
Живучесть: ... #успех=1 #провал=8
Запуск: ... #успех=1 #сбой=24

В журналах последовательность запуска выглядит нормально (по сравнению с другим кластером), затем я получаю много предупреждений:

etcdserver: [...] запрос ... выполнялся слишком долго

Но я не думаю, что это связано с оборудованием, потому что etcd_disk_backend_commit_duration_seconds 99-й процентиль составляет 16 мс, что нормально в соответствии с Вопросы-Ответы.

В любом случае, это продолжается несколько минут, а затем, я думаю, это вызывает перезапуск:

etcdserver/api/etcdhttp:/ошибка работоспособности; Ошибка QGET etcdserver: время ожидания запроса истекло (код состояния 503)

Любая идея, какие дальнейшие шаги я могу предпринять, чтобы диагностировать проблему и исправить etcd?

702
0 + 0
Mikołaj Głodziak avatar
флаг id
Mikołaj Głodziak
Вы видели эту [проблему] (https://github.com/etcd-io/etcd/issues/11809)? Он похож на ваш?
0
Ответить
флаг us
Antoine
Что ж, у него есть некоторые сходства, но в вопросе вы упоминаете, что тайм-ауты начинаются сразу после запуска, тогда как в моем случае они начинаются через несколько минут безотказной работы. Также неясно, есть ли сбой в другой проблеме, тогда как для меня это точно. Но я продолжу изучать производительность диска, пока не получу лучшее представление...
0
Ответить
Mikołaj Głodziak avatar
флаг id
Mikołaj Głodziak
Какую версию Kubernetes вы использовали? Можете ли вы предоставить шаги, как именно вы настроили кластер?
0
Ответить
Wytrzymały Wiktor avatar
флаг it
Wytrzymały Wiktor
Привет @Антуан. Любые обновления?
0
Ответить
флаг us
Antoine
Спасибо, мне удалось получить помощь на github и решить проблему: https://github.com/etcd-io/etcd/issues/13373. Я думаю, что в какой-то момент мой узел изменил свой частный IP-адрес из-за проблем с оборудованием, и после обновления etcd это вызвало проблемы с конфигурацией. Исправление заключалось в сбросе + восстановлении данных etcd.
0
Ответить
флаг Moldova
Admin
Этот вопрос на других языках:

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.