Найти пропавшую цель через absent

Срабатывает, когда нет ни одной серии, и ловит job, который целиком пропал из service discovery

absent(up{job="node"} == 1)

инструмент
prometheus30 команд
теги
prometheusmonitoringtroubleshootingobservability

Другие команды prometheus

  • label_replace(node_uname_info, "host", "$1", "nodename", "(.+)")

    Создаёт новую метку из группы regex, удобно для join и аккуратных дашбордов

  • max_over_time(rate(node_network_receive_bytes_total[5m])[1h:1m])

    Подзапрос: максимальный rate за 5m с шагом 1 минута за последний час, показывает всплески трафика

  • sum without(instance) (rate(http_requests_total{code=~"5.."}[5m]))

    without() оставляет все метки, кроме instance. Проще, чем перечислять много меток в by()

  • groups: - name: slo rules: - record: job:request_errors:ratio5m expr: sum by(job)(rate(http_requests_total{code=~"5.."}[5m])) / sum by(job)(rate(http_requests_total[5m]))

    Заранее считает долю ошибок для SLO, чтобы дашборды и алерты работали быстро

  • promtool check rules rules.yml && promtool check config prometheus.yml

    Запускай перед reload или в CI, чтобы поймать сломанные выражения или YAML до деплоя

все 30 команд prometheus