Рейтинг:0

Отключение электронной почты для Prometheus Alertmanager в зависимости от серьезности

флаг ru

Мы отслеживаем вычислительный кластер HPC, используя комбинацию Prometheus, Alertmanager и Grafana. На наших машинах такие вещи, как заполнение памяти SWAP практически до предела, происходят часто, и хотя полезно видеть соответствующие Информация-level на панели оповещений Grafana, желательно не отправлять соответствующие электронные письма.

Есть ли способ заглушить/отключить все, скажем, предупреждающие электронные письма с серьезностью? Информация в alertmanager.yml файл конфигурации?

Все оповещения определяются аналогично этому (скорректировано из https://awesome-prometheus-alerts.grep.to/rules.html):

  - оповещение: HostSwapIsFillingUp
    выражение: (1 - (node_memory_SwapFree_bytes / node_memory_SwapTotal_bytes)) * 100 > 95
    для: 60м
    этикетки:
      серьезность: информация
    аннотации:
      сводка: замена хоста заполняется (экземпляр {{ $labels.instance }})
      description: "Своп заполняется (>95%)\n VALUE = {{ $value }}"

и соответствующий раздел в alertmanager.yml файл читает

  маршруты:
    - соответствовать:
        серьезность: «предупреждение»
      повтор_интервал: 24 часа
      продолжить: правда
    - соответствовать:
        серьезность: 'информация'
      повтор_интервал: 24 часа
      продолжить: правда
      приемник: упал

приемники:
  - имя: 'admin-mails'
    email_configs:
      - кому: 'admins@DOMAIN'
  - имя: 'упал'
    email_configs:
      - кому: 'admins@DOMAIN'

Есть ли возможность убедиться, что ИнформацияОповещения уровня никогда не вызывают электронные письма, но при этом они все еще «сгорают», чтобы Grafana отображала их?

Рейтинг:0
флаг ru

После некоторых проб и ошибок, кажется, следующее помогает:

  маршруты:
    - соответствовать:
        серьезность: «предупреждение»
      повтор_интервал: 24 часа
      продолжить: правда
    - соответствовать:
        серьезность: 'информация'
      повтор_интервал: 24 часа
      продолжить: правда
      приемник: упал

приемники:
  - имя: 'admin-mails'
    email_configs:
      - кому: 'admins@DOMAIN'
  - имя: 'упал'

Таким образом, идея состоит в том, чтобы просто отключить приемник. При этом электронные письма больше не генерируются, но оповещения по-прежнему отображаются в Grafana.

Я оставлю это здесь, если кто-то еще столкнется с тем же вопросом.

Ответить или комментировать

Большинство людей не понимают, что склонность к познанию нового открывает путь к обучению и улучшает межличностные связи. В исследованиях Элисон, например, хотя люди могли точно вспомнить, сколько вопросов было задано в их разговорах, они не чувствовали интуитивно связи между вопросами и симпатиями. В четырех исследованиях, в которых участники сами участвовали в разговорах или читали стенограммы чужих разговоров, люди, как правило, не осознавали, что задаваемый вопрос повлияет — или повлиял — на уровень дружбы между собеседниками.