Есть дев кластер, туда был совершён путём kubectl patch деплой

Question

Есть дев кластер, туда был совершён путём kubectl patch деплой

нового image, в под из двух реплик. Одна реплика заработала нормально, а другая нет. "Вскрытие" второго контейнера показало, что в нём пустой файл конфига веб сервера. Этот конфиг перезаписывается на этапе сборки образа (докер команда COPY) в последнем слое. Поскольку оба контейнера (реплики) используют один и тот же образ, возникает вопрос - какого лешего не загрузился этот слой в контейнер при его запуске?

#devops #kubernetes #programming #russian

0

28.08.2023

23 ответов

21 просмотр

Юрий Автор вопроса

Andrey Kartashov
а в первой реплике непустой?

Да. Проблема устранена удалением кривого пода.

0

28.08.2023

Andrey Kartashov

Юрий
Да. Проблема устранена удалением кривого пода.

скачай образ и проверь

0

28.08.2023

Юрий Автор вопроса

Andrey Kartashov
скачай образ и проверь

Образ в порядке

0

28.08.2023

Andrey Kartashov

Юрий
Образ в порядке

проверь в статусе (или в describe) пода, что образ правильный используется, там должен быть sha образа

0

28.08.2023

Юрий Автор вопроса

Andrey Kartashov
проверь в статусе (или в describe) пода, что образ...

Сверял, совпадают

0

28.08.2023

Andrey Kartashov

Юрий
Сверял, совпадают

то есть в образе файл непустой, в работающем поде на этому образе файл пустой? не верю.

0

28.08.2023

Юрий Автор вопроса

Andrey Kartashov
то есть в образе файл непустой, в работающем поде ...

Образ состоит из слоёв, собираемых kaniko на этапе билда. Копирование конфига - последний из шагов docker файла, после него идёт заливка в регистри (гитлаб). После этого делается патч image в деплойменте, чтобы запустить новые поды с новым образом. И тут вдруг впервые за год наблюдается такая вот интересная история - не загрузился один (последний) слой образа (в одном из двух контейнеров)

0

28.08.2023

Vitaliy Davidov

Юрий
Образ состоит из слоёв, собираемых kaniko на этап...

Docker login? Может тут , недавно такая проблема была

0

28.08.2023

Юрий Автор вопроса

Vitaliy Davidov
Docker login? Может тут , недавно такая проблема б...

Единственное что мне приходит в голову - гитлаб забанил айпи как раз перед скачиванием последнего слоя, но почему k8s не запаниковал и запустил контейнер с недокачаным образом... если было так

0

28.08.2023

Vitaliy Davidov

Юрий
Единственное что мне приходит в голову - гитла...

А он в статусе running?

0

28.08.2023

Юрий Автор вопроса

Тут интересно, у него три рестарта было, но код 255, непонятно что это значит. Ну и после этих рестартов оно работало почти час пока я разбирался что за нах

0

28.08.2023

Vitaliy Davidov

Юрий
Тут интересно, у него три рестарта было, но код 25...

Как раз статус unknown)

0

28.08.2023

Andrey Kartashov

у тебя бы оно тогда с imagepullerror свалилось. Я тебе говорю, у тебя образ не тот.

0

28.08.2023

Юрий Автор вопроса

Andrey Kartashov
у тебя бы оно тогда с imagepullerror свалилось. Я ...

Оно и валилось, только на деплое другого сервиса

0

28.08.2023

Andrey Kartashov

ты уже там у себя разберись, где что валилось сначала. Если в образе есть файл, значит он и в контейнере есть. Вероятность сбоя в этом месте намного меньше вероятности твоего косяка

0

28.08.2023

Юрий Автор вопроса

Andrey Kartashov
ты уже там у себя разберись, где что валилось снач...

Вы вообще-то забываете, что образ - не один файл и у него есть слои. Не загрузился один слой из пачки. Поэтому получился образ с пустым файлом в контейнере. Причина почему такой под запустился, а не вылезла ошибка errpullimage, остаётся непонятной

0

28.08.2023

Andrey Kartashov

Юрий
Вы вообще-то забываете, что образ - не один файл ...

я ничего не забываю. Загрузка образа требует загрузки всех его слоёв. Если у тебя загрузка завершилась успешно без загрузки одного слоя - то ты нашёл очень маловероятный баг.

0

28.08.2023

Aleksey Lazarev

Юрий
Вы вообще-то забываете, что образ - не один файл ...

Звучит странно - по идее если слой не скачался архив не развернется и ничего не запустится

0

28.08.2023

Юрий Автор вопроса

Aleksey Lazarev
Звучит странно - по идее если слой не скачался арх...

Я тоже так думал, но тут налицо был факт такого события)

0

28.08.2023