Несколько месяцев все работало нормально и этой проблемы не было. После аварийного цикла в одном из контейнеров, который начал создавать много журналов, сервер переполнился. Эта проблема была решена, но теперь, когда я запускаю свой стек докеров, включая elasticsearch, через несколько часов диск начинает заполняться на 100%, он увеличивается с 20 ГБ до 75 ГБ (100%) за считанные минуты.
Это не могут быть старые журналы, потому что они были удалены из системы, а elasticsearch настроен на выполнение ILM для индексов, поэтому он не хранит более нескольких ГБ данных (прокручивается и удаляется через несколько дней). Также важно отметить:
В то время как дф-ч показывает, что диск полностью заполнен. Том elasticsearch, который подключен к: /usr/доля/эластичный поиск/данные в контейнере всего несколько ГБ (около 5 ГБ) объема. С использованием дю -ч -д1
В то же время дю -ч -д1 на / показать только около 20 ГБ использования диска! Так что неясно, где находится лишняя часть объема ~ 50 ГБ!
Когда я удаляю службу elasticsearch из стека, использование диска мгновенно возвращается к 20 ГБ.
Я пытался:
- Удалите узел из роя, не запускайте контейнер и удалите все, включая тома. Использование диска падает. Когда я повторно присоединяюсь и запускаю стек с помощью elasticsearch, проблема возвращается.
- Делай как предложено здесь и смонтируйте / в /mnt.
дю Команда не показала разницы. Еще 20 ГБ пока дф показал 100% полный диск.
Ресурсы сервера:
- 75 ГБ дискового пространства
- 4 ядра процессора
- 16 ГБ ОЗУ
Сервер представляет собой centos7, и он является менеджером в рое (рое Docker), а экземпляр elasticsearch «прикреплен» к этому серверу с ограничениями развертывания. Другие контейнеры также работают на этом сервере.
Рой состоит из 4 узлов: 3 менеджера, которые также работают как рабочие, и 1 другой рабочий узел.
