Разобраться с нодой в NotReady
Посмотреть Conditions ноды, затем последние строки журнала kubelet и понять, почему она NotReady
kubectl describe node <node> | grep -A12 Conditions; ssh <node> 'journalctl -u kubelet -n 100 --no-pager'
- инструмент
- k8s-debug27 команд
Другие команды k8s-debug
-
kubectl get events -n <ns> --field-selector reason=Failed -o wide | grep -i 'pull\|manifest\|unauthorized'Показать ошибки загрузки образа из registry: неверный тег, нет imagePullSecret или упёрлись в rate limit
-
kubectl get po -A | grep Evicted | awk '{print $2" -n "$1}' | xargs -L1 kubectl delete poУдалить все Evicted-поды, оставшиеся после вытеснения из-за нехватки ресурсов на ноде
-
kubectl patch po <pod> -n <ns> -p '{"metadata":{"finalizers":null}}' --type=merge; kubectl delete po <pod> -n <ns> --grace-period=0 --forceСбросить finalizers и принудительно удалить под, зависший в Terminating; сначала убедитесь, что нода действительно мертва
-
kubectl get --raw /api/v1/nodes/<node>/proxy/stats/summary | jq '.pods[] | {name:.podRef.name, mem:.memory.workingSetBytes}'Получить актуальную память по подам из Summary API kubelet в обход metrics-server
-
kubectl debug node/<node> -it --image=nicolaka/netshoot -- conntrack -SПроверить счётчики drop и insert_failed в conntrack по каждому CPU; когда таблица nf_conntrack заполнена, пакеты теряются