В продолжении разборок с утекающим ephemeral storage на ноде в

GKE:
за 20 часов съелось 380Gb, что в общем-то дохрена.

Сейчас это наблюдается на 1 ноде.

Зашёл прямо на ноду
Сделал crictl stats и в графе DISK нет ни одного контейнера дотягивающего даже до 1Gb

Делаю df -h и вижу кучу такого
overlay 969G 380G 590G 40% /run/containerd/io.containerd.runtime.v2.task/k8s.io/21b56fa26068f6c5fd4ba347c833a11e14e1916fc446efbc1a410f1aff7bfb19/rootfs
overlay 969G 380G 590G 40% /run/containerd/io.containerd.runtime.v2.task/k8s.io/219de14dddbcaeb1609f6a8ad8a9d7c6067d65370a01a101b32ebbec2f213282/rootfs
overlay 969G 380G 590G 40% /run/containerd/io.containerd.runtime.v2.task/k8s.io/e917149d445b6ef2fd158d883cf469507457d69310e00467b92be1dab9ec58a3/rootfs
overlay 969G 380G 590G 40% /run/containerd/io.containerd.runtime.v2.task/k8s.io/eef043998f051358cf7a02d914ce80a19b4a68e147988b0e0b506a596df59a5f/rootfs
overlay 969G 380G 590G 40% /run/containerd/io.containerd.runtime.v2.task/k8s.io/617d50d70e22c1759757110835a1f970779b415343c7793903a0ae3067743487/rootfs
overlay 969G 380G 590G 40% /run/containerd/io.containerd.runtime.v2.task/k8s.io/dfc6a5ff83ba25084911f7ba9dfd71cc3253676d33b5f38f17f2f8973d2acdc1/rootfs
overlay 969G 380G 590G 40% /run/containerd/io.containerd.runtime.v2.task/k8s.io/8cbd2c8bd337924f10ded96c89ba23ce429850fe02158963f1a6863576c705b4/rootfs

Куда копать?

ну, зайди на узел и посмотри - какие каталоги жрут место

Выше и есть инфа с ноды/узла. И что с ней делать? /var/containerd/... и хэши видимо слоёв но их куча и одинаковый размер, т.к. df -h

ncdu /run/containerd/io.containerd.runtime.v2.task/k8s.io/ что выдает?

А это смотрел https://stackoverflow.com/questions/52323735/gke-disk-utilization-monitoring-alerting ?

А что там? Там нет ответов в разрезе контейнеров, их и не может быть, т.к. метрики такой как бы нет ещё https://github.com/kubernetes/kubernetes/issues/69507

ncdu вообще очень странное показывает, как будто и не занято ничего --- /run/containerd/io.containerd.runtime.v2.task/k8s.io ---- 1.6 GiB [##########] /25e368c2aa35c0da6f58f7696854e3ad60bb4227d36d019e959a06536b54da37 1.6 GiB [######### ] /dfc6a5ff83ba25084911f7ba9dfd71cc3253676d33b5f38f17f2f8973d2acdc1 1.3 GiB [######## ] /eccffc354fa3208272279d949815ff098a6c7e561935691e8f1cb86b4d30063f 1.3 GiB [######## ] /8794674ab728a50f3dce845ef70b6447a855f59e4c1e35ea7e1bec423d7ae2a3 1.2 GiB [####### ] /060d281c4af5b89bfbf400d53458cda634d64141039ed649cbabf56004d204c3 1.1 GiB [####### ] /8577ccb1100e8beaea902fbc1221f3e6b7a7339a80886ece4ba8010f989bea0c 1.0 GiB [###### ] /d80c026f741752873bd2dc577b9213d2d9a38849cabfcdd7d8c2f8b7ea36f154 1.0 GiB [###### ] /a7c000d414deef728d28575594783cfeaeb115ea9d03ba806b6fc877ae6120ff 928.8 MiB [##### ] /c851209a83922ee3b7dbe8438830c5b5fbc77f746b85168173580be53ae07149 892.7 MiB [##### ] /10a523058cdb802e45cf8e71e3413c2d316878df1c8679a8e6081688196d16eb 874.9 MiB [##### ] /51d774af9be346f36bcc8a056e2704ef57d7fd77cb0d1fc8dcbc87b99d4fffc8 859.4 MiB [##### ] /bee4b711f8e29a552ca14667a294a26cfc94be40ed348e9b38bf1309e5b154dc 854.2 MiB [##### ] /9275bdfc13b1ca19b5e8225d3caec740d79bef4b185624184d568ebb25d83719 851.6 MiB [##### ] /519734d0e3e92cc3ad0d19d94617fb4400254279a0b51cd15e8ce871d942ed5b 849.4 MiB [##### ] /f038f9f341068a29151b0748d9bccd4481b6371e4a60c8e3d93023bf2c0efb06 840.9 MiB [##### ] /cea88e818e8c737231df1f646c5c47e012740ffb6346d452c51522bc09fbf91a 822.4 MiB [##### ] /85416713366a979e8de08dd944b744affe32eaa64204b1f6bf23552413dd2dbe 748.0 MiB [#### ] /9b3caf18a03966cfe3814677277e67bf511a13d22f6a178feb9a3bf04ac410d9 609.4 MiB [### ] /76560d439000ccf670dd9f7fe1385b7093530495bd229aa343594e26adbfd598 222.0 MiB [# ] /1829aab7d05fed94d66cd13b1817448ef0649724d26e5716b1e9cd43b06114ad 163.8 MiB [# ] /ec19f211ca2bb43cfe713b1f7b98bfda38b27068b18bcb44f14b983e99379cf0 107.6 MiB [ ] /9f1d0be68f655f2125f89876dbfc7fdc3438e04c50a85ad6c6619959974b1f43 107.2 MiB [ ] /6e133d0469c7529d5985e8cb17fa74397b7a929fdde4e5234323537628e2a4ba 102.9 MiB [ ] /79510789cca66e1df3b1f422436e22fe2f5f44be5e2747e24b3604170e5f03f6 102.4 MiB [ ] /8cd8cd060f7dc85e5a4b7ccbe4ff767c3216875893b8a41411a69803685fccbc 99.8 MiB [ ] /af8775c5daba984b0776fd07d32dd10d0ede2e74d8e899697ce4b31c19530d9f 97.6 MiB [ ] /d4dddb7030ac17746eaede7bea4f05a8358acdcb7edabddec6168f661f072e4d 93.7 MiB [ ] /7c0750118b70e09002c09b9a5edf3b0f4937a276c05d48166a6748bf6f6cb208 93.3 MiB [ ] /ff6648a05148203e99c65873a6896bcaca42bb1b346a8a9fd42f5ddd7053d4a0 91.1 MiB [ ] /6ea28d17101e97e86f26e9dcf188be090c5104bcb4359043e4e395425884b9a5 85.6 MiB [ ] /b90d62666bfb878f11960c5bbdf626d259004076b8f5e65adbf0b910f8dda439 61.4 MiB [ ] /be2a7e81c54f65b04c91061ff8d1740013067ac152b311360e01fd52ddd03526 57.3 MiB [ ] /13d169630ac32a5e54f0cca52b84c73c7d16ff739a7267ab5c7c87244d4dd601

а зачем проверять конкретный каталог сразу, не лучше ли начать с корня? и постепенно найдешь где это все копится

А я уже смотрел ncdu и он вообще с / нехрена не показывает

Есть ещё идеи по-поводу пожираемого места? iotop делать в каждом поде что ли?

показывает

удалили файл, а приложение продолжает в него писать