Исходящие http-вызовы терпят неудачу случайным образом - нет маршрута к хосту

Некоторое время назад в нашем кластере kubernetes возникла странная проблема. У нас есть сеть, содержащая серверы Windows (веб-сервер, почтовый сервер и т. д.) и кластер kubernetes, на котором работает Rancher v2.6.0.

Кластер взаимодействует с сервером Windows через HTTP-запросы и smtp/imap для отправки и чтения электронной почты. Некоторое время случайные HTTP-запросы терпят неудачу с сообщением об ошибке нет пути к хосту. Похоже, что это ограничивается только подключениями внутри сети и не влияет на запросы к сторонним API. И ошибка возникает не всегда. Многие запросы проходят без проблем, а некоторые терпят неудачу. Я реализовал политику повтора, чтобы повторить тот же запрос через несколько секунд, и иногда он работает при первой попытке, иногда при второй, а иногда вообще не работает.

Я пытался найти решение в Google, но ничего не нашел, тем более что затрагивается только процент всех запросов.

Наш системный администратор, поддерживающий сеть и сервер Windows, не может выявить какие-либо проблемы или даже увидеть запросы. Итак, я предполагаю, что запросы не покидают кластер... если это имеет смысл.

К сожалению, кластер kubernetes раньше обслуживал коллега, который больше недоступен. Буду очень признателен за подсказки с чего начать искать решение.

Я бы проник внутрь одной из капсул:

kubectl exec -it <имя пода> -n <пространство имен> -- bash

и запустить:

для я в {0..100}; сделать curl http://<windows.server>;готово

И проверьте, нет ли ошибок, если есть — я бы запустил тот же тест с самой ноды (ssh к ноде и запустил цикл for) желательно с той же ноды, на которой запущен pod, который вы использовали для тестирования.

Если вы все еще видите ошибки или тайм-ауты, я бы подключился к узлу за пределами кластера по ssh и запустил те же тесты, чтобы попытаться сосредоточиться, если проблема связана только с модулем, с узлами кластера или с сервером Windows.

У меня были похожие ошибки, и, похоже, они были связаны с ошибками DNS-запросов. Coredns перенаправлял запросы, не относящиеся к Kubernetes, в pfsense DNS, и это произошло случайно, что привело к отсутствию маршрута к хосту. Проверьте журналы Coredns.