Найти срабатывания OOM killer в dmesg
Узнать, кого выбрал OOM killer, с читаемым временем; -T переводит время ядра в обычные даты.
dmesg -T | grep -iE 'killed process|out of memory' | tail
- инструмент
- troubleshooting32 команды
Другие команды troubleshooting
-
cat /proc/<pid>/oom_score /proc/<pid>/oom_score_adjЧем выше oom_score, тем вероятнее, что процесс убьют; oom_score_adj -1000 защищает его от OOM killer.
-
cat /sys/fs/cgroup/<name>/memory.events | grep -E 'oom|max'Прочитать счётчики oom_kill и max для cgroup, чтобы увидеть, что под упирается в memory.max раньше, чем память кончится на всей ноде.
-
lsof +L1 | sort -k7 -rn | headdf говорит, что диск полон, а du с ним не согласен? Удалённые файлы держит открытый процесс; его перезапуск освободит место.
-
iostat -x 1 | awk '$1!~/^$/{print $1, "util="$NF, "await="$(NF-2)}'%util около 100 и растущий await значат, что устройство перегружено; дальше ищем процесс, который его грузит.
-
biotop-bpfcc -C 5 1biotop из bcc показывает, какой процесс больше всего нагружает блочный I/O по объёму и задержке; для своих вопросов есть bpftrace.