Проверить OOM-события cgroup v2
Прочитать счётчики oom_kill и max для cgroup, чтобы увидеть, что под упирается в memory.max раньше, чем память кончится на всей ноде.
cat /sys/fs/cgroup/<name>/memory.events | grep -E 'oom|max'
- инструмент
- troubleshooting32 команды
Другие команды troubleshooting
-
lsof +L1 | sort -k7 -rn | headdf говорит, что диск полон, а du с ним не согласен? Удалённые файлы держит открытый процесс; его перезапуск освободит место.
-
iostat -x 1 | awk '$1!~/^$/{print $1, "util="$NF, "await="$(NF-2)}'%util около 100 и растущий await значат, что устройство перегружено; дальше ищем процесс, который его грузит.
-
biotop-bpfcc -C 5 1biotop из bcc показывает, какой процесс больше всего нагружает блочный I/O по объёму и задержке; для своих вопросов есть bpftrace.
-
conntrack -L 2>/dev/null | wc -l; conntrack -SПосчитать отслеживаемые соединения и сравнить с nf_conntrack_max; -S показывает insert_failed и drop при переполнении таблицы.
-
conntrack -E -p tcp --dport 443 -o timestampПоказывать события NEW и DESTROY по порту в реальном времени, чтобы поймать потери из-за NAT или таймаутов.