В контейнерах docker крутится Airflow 2.2.3. Появилась проблема - на

Question

В контейнерах docker крутится Airflow 2.2.3. Появилась проблема - на

этапе создания таски Airflow иногда выдает неверный хостнейм celery воркера.
Таким образом, таска улетает в никуда, логов нет, маркировка таски случайная - саксес или фэйл. Причем это плавающая проблема, от чего зависит не пойму.

Контейнеры сносил полностью, машину перезагружал, redis вольюмы удалял. После удаления и запуска контейнеров верный хостнейм ожидаемо каждый раз меняется, таски обращённые к нему корректно работают. Но вот проблемный хостнейм всегда один и тот же, как будто он куда-то закэшировался и в случайные (или я закономерности не увидел) моменты времени подменяет собой корректный. Подскажите, где можно отыскать место его хранения и вычистить? Или может как то иначе решить проблему.

Показал бы скриншот из вебморды, но тут запрещено(

#devops #programming #russian

0

04.08.2023

8 ответов

22 просмотра

Vladislav K Автор вопроса

Dmitriy Golubtsov
community chart?

Не понял вопрос

0

04.08.2023

Elenhil

что значит неверный хостнейм?

0

04.08.2023

Vladislav K Автор вопроса

Elenhil
что значит неверный хостнейм?

Docker network даёт контейнеру с celery хостнейм, например a1b2c3d4. При залезании внутрь контейнера фигурирует этот хостнейм, по нему пингуетс контейнер и так далее. Во вкладке Jobs в вебморде аирфлоу есть столбец hostname - там так же написан этот хостнейм к каждому запуску таски. НО иногда в этом столбце левый хостнейм типа a5b6c7d8. Джобы с этим хостнеймом всегда не имеют лога, не выполняются и помечают себя произвольно саксес или фейл. После docker-compose down верный хостнейм изменяется, потому что новое все создаётся, а вот неверный остаётся тот же самый.

0

04.08.2023

Elenhil

Vladislav K
Docker network даёт контейнеру с celery хостнейм, ...

Откуда этот хост? Он не может снифига появиться, кури логи доцкера всех машин

0

04.08.2023

Vladislav K Автор вопроса

Elenhil
Откуда этот хост? Он не может снифига появиться, к...

Да вот понятия не имею, он вообще нигде не фигурирует. В логах не грепается, в других контейнерах тоже. Ниоткуда не пингуется. Выглядит так, будто это какое-то закэшированное значение, но где и как не понятно.

0

04.08.2023

Егор Мурлыков

Vladislav K
Docker network даёт контейнеру с celery хостнейм, ...

А ты пробовал задавать кастомные имена для контейнеров и указывать эти имена как эндпоинты?

0

04.08.2023

Vladislav K Автор вопроса

Егор Мурлыков
А ты пробовал задавать кастомные имена для контейн...

Как-то не подумал, хотя очевидное. Спасибо, попробую

0

04.08.2023