Как найти решение этой проблемы? Я только сделал left join

Question

Data Engineers

D

Как найти решение этой проблемы? Я только сделал left join

(в source таблице 2 миллиона записей)
мы записываем данные в дельта-таблицу, если это поможет

#hadoop #russian #software

0

15.11.2023

6 ответов

24 просмотра

D Автор вопроса

Nikita B
так это варнинги вроде

Так оно стопится и начинает выполняться по 13 часов, хотя раньше, до джоина, было 20 минут Опять же, джоин содержит 2.2 млн строк, это не много Локально и на сервере началась одна и та же проблема

0

15.11.2023

D Автор вопроса

D
Так оно стопится и начинает выполняться по 13 часо...

Тормозить начинает на моменте с insert(отдельная операция где флаг или инсерт или апдейт), после того как merge был полностью выполнен

0

15.11.2023

Nikita B

D
Так оно стопится и начинает выполняться по 13 часо...

Ты хоть расскажи что это вообще за компьютерная программа у тебя работает.

0

15.11.2023

Ian TaI

Не хватает памяти для кеша пишет

0

15.11.2023

D Автор вопроса

Nikita B
Ты хоть расскажи что это вообще за компьютерная пр...

Мы создаем json, который пушим в s3, далее через airflow мы запускаем конфиги В конфигах- извлекает из дельты последние записи, также извлекаем дату из сноуфлейка), потом делаем пару операций типо calculations, далее мы джоиним то что из сноуфлейка с дельтой(чтобы протянуть айди, если row уже существует в дельте) Потом мердж, если существует запись- мы софт делитим Далее инстерт то что мы извлекли из сноуфлейка

0

15.11.2023

Nikita B · Accepted Answer

Nikita B

так это варнинги вроде

0

15.11.2023

52 похожих чатов

Как найти решение этой проблемы? Я только сделал left join

6 ответов

Похожие вопросы