хоста из контейнера при использовании DockerOperator в airflow? Airflow поднимал на основе стандартного docker-compose.yaml из их доки.
собственно volumes:
- ./dags:/opt/airflow/dags
- ./logs:/opt/airflow/logs
- ./plugins:/opt/airflow/plugins
- '/var/run/docker.sock:/var/run/docker.sock'
- '/tmp:/tmp'
логи dag'a:
File "/home/airflow/.local/lib/python3.7/site-packages/docker/transport/unixconn.py", line 30, in connect
sock.connect(self.unix_socket)
FileNotFoundError: [Errno 2] No such file or directory
privileged: true случаем не забыли добавить? Ну и на стандартном образе airflow запускается под учеткой airflow, у которой нет root прав. Нужно создать внутри контейнера группу docker с таким же id, как на хосте, и добавить в нее пользователя airflow
в продолжении проблемы с DockerOperator . С чем может быть связана ошибка отсутствия module в worker контейнере, после создания там группу docker и добавления в нее user'a airflow: File "/home/airflow/.local/bin/airflow", line 5, in <module> from airflow.__main__ import main ModuleNotFoundError: No module named 'airflow'
ну наверняка ты для изменения группы у пользователя airflow переключился на root, и забыл переключиться обратно
Обсуждают сегодня