Заглушить алерт

Создаёт silence в Alertmanager на 2 часа

amtool silence add alertname=HighMemory --duration=2h --comment='Investigating'

инструмент
prometheus30 команд
теги
prometheusmonitoring

Другие команды prometheus

  • curl -s http://prometheus:9090/api/v1/status/tsdb | jq '{head_chunks: .data.headStats.numChunks, series: .data.headStats.numSeries}'

    Показывает статистику head блока TSDB: чанки и активные серии

  • histogram_quantile(0.95, sum by(le,job)(rate(http_request_duration_seconds_bucket[5m])))

    p95 задержки по каждому job. Перед histogram_quantile всегда агрегируй `_bucket` по `le`

  • predict_linear(node_filesystem_avail_bytes{mountpoint="/"}[6h], 4*3600) < 0

    Алерт, если по тренду за последние 6 ч диск заполнится в ближайшие 4 ч

  • absent(up{job="node"} == 1)

    Срабатывает, когда нет ни одной серии, и ловит job, который целиком пропал из service discovery

  • label_replace(node_uname_info, "host", "$1", "nodename", "(.+)")

    Создаёт новую метку из группы regex, удобно для join и аккуратных дашбордов

все 30 команд prometheus