ресту с одного источника
2)валидирует
3)если 2 ок то кладет в постгрю.
Вроде все очень тривиально, Http оператор забирает данные и валидирует, Postgres оператор кладет данные куда надо... но есть ли другой способ, кроме как xcom что бы передать данные от таска к таску? и если нет, то как их(таски) располагать в даге, кто кого вызывает при xcom?
Сразу складывать либо в файл, либо в базу. Потом валидировать и если ок, перекладывать.
Плохая практика через xcom датафреймы гонять
Ну то есть Python / docker operator ? Хттп же не умеет из коробки класть куда то ?
А не прошедшие валидацию данные нужны вообще?
Нет, pass. Ждём следующего запуска
Обсуждают сегодня