Мы отслеживаем вычислительный кластер HPC, используя комбинацию Prometheus, Alertmanager и Grafana. На наших машинах такие вещи, как заполнение памяти SWAP практически до предела, происходят часто, и хотя полезно видеть соответствующие Информация
-level на панели оповещений Grafana, желательно не отправлять соответствующие электронные письма.
Есть ли способ заглушить/отключить все, скажем, предупреждающие электронные письма с серьезностью? Информация
в alertmanager.yml
файл конфигурации?
Все оповещения определяются аналогично этому (скорректировано из https://awesome-prometheus-alerts.grep.to/rules.html):
- оповещение: HostSwapIsFillingUp
выражение: (1 - (node_memory_SwapFree_bytes / node_memory_SwapTotal_bytes)) * 100 > 95
для: 60м
этикетки:
серьезность: информация
аннотации:
сводка: замена хоста заполняется (экземпляр {{ $labels.instance }})
description: "Своп заполняется (>95%)\n VALUE = {{ $value }}"
и соответствующий раздел в alertmanager.yml
файл читает
маршруты:
- соответствовать:
серьезность: «предупреждение»
повтор_интервал: 24 часа
продолжить: правда
- соответствовать:
серьезность: 'информация'
повтор_интервал: 24 часа
продолжить: правда
приемник: упал
приемники:
- имя: 'admin-mails'
email_configs:
- кому: 'admins@DOMAIN'
- имя: 'упал'
email_configs:
- кому: 'admins@DOMAIN'
Есть ли возможность убедиться, что Информация
Оповещения уровня никогда не вызывают электронные письма, но при этом они все еще «сгорают», чтобы Grafana отображала их?