Поиск виновников кардинальности в TSDB prometheus
показывает метрики и пары меток с высокой кардинальностью; первый шаг при росте памяти
promtool tsdb analyze /prometheus --limit 20
more prometheus
all 30 commands →
Запрос к Prometheus через curl
curl -sG 'http://prometheus:9090/api/v1/query' --data-urlencode 'query=up' | jq .
Instant query через promtool
promtool query instant http://prometheus:9090 'up{job="kubelet"}'
Range query через curl
curl -sG 'http://prometheus:9090/api/v1/query_range' --data-urlencode 'query=rate(http_requests_total[5m])' --data-urlencode 'start=2024-01-01T00:00:00Z' --data-urlencode 'end=2024-01-01T01:00:00Z' --data-urlencode 'step=60s' | jq .
Проверить правила алертов
promtool check rules rules.yml
Заглушить алерт
amtool silence add --alertmanager.url=http://alertmanager:9093 alertname=<name> --duration=2h --comment='Maintenance'