Проверить OOM-оценку процесса

Чем выше oom_score, тем вероятнее, что процесс убьют; oom_score_adj -1000 защищает его от OOM killer.

cat /proc/<pid>/oom_score /proc/<pid>/oom_score_adj

инструмент
troubleshooting32 команды
теги
troubleshootingmemoryoomkernel

Другие команды troubleshooting

  • cat /sys/fs/cgroup/<name>/memory.events | grep -E 'oom|max'

    Прочитать счётчики oom_kill и max для cgroup, чтобы увидеть, что под упирается в memory.max раньше, чем память кончится на всей ноде.

  • lsof +L1 | sort -k7 -rn | head

    df говорит, что диск полон, а du с ним не согласен? Удалённые файлы держит открытый процесс; его перезапуск освободит место.

  • iostat -x 1 | awk '$1!~/^$/{print $1, "util="$NF, "await="$(NF-2)}'

    %util около 100 и растущий await значат, что устройство перегружено; дальше ищем процесс, который его грузит.

  • biotop-bpfcc -C 5 1

    biotop из bcc показывает, какой процесс больше всего нагружает блочный I/O по объёму и задержке; для своих вопросов есть bpftrace.

  • conntrack -L 2>/dev/null | wc -l; conntrack -S

    Посчитать отслеживаемые соединения и сравнить с nf_conntrack_max; -S показывает insert_failed и drop при переполнении таблицы.

все 32 команды troubleshooting