Проверить OOM-оценку процесса
Чем выше oom_score, тем вероятнее, что процесс убьют; oom_score_adj -1000 защищает его от OOM killer.
cat /proc/<pid>/oom_score /proc/<pid>/oom_score_adj
- инструмент
- troubleshooting32 команды
Другие команды troubleshooting
-
cat /sys/fs/cgroup/<name>/memory.events | grep -E 'oom|max'Прочитать счётчики oom_kill и max для cgroup, чтобы увидеть, что под упирается в memory.max раньше, чем память кончится на всей ноде.
-
lsof +L1 | sort -k7 -rn | headdf говорит, что диск полон, а du с ним не согласен? Удалённые файлы держит открытый процесс; его перезапуск освободит место.
-
iostat -x 1 | awk '$1!~/^$/{print $1, "util="$NF, "await="$(NF-2)}'%util около 100 и растущий await значат, что устройство перегружено; дальше ищем процесс, который его грузит.
-
biotop-bpfcc -C 5 1biotop из bcc показывает, какой процесс больше всего нагружает блочный I/O по объёму и задержке; для своих вопросов есть bpftrace.
-
conntrack -L 2>/dev/null | wc -l; conntrack -SПосчитать отслеживаемые соединения и сравнить с nf_conntrack_max; -S показывает insert_failed и drop при переполнении таблицы.