Всем привет)) Может ли Спарк скл тупить из-за 2CPU в контейнере?

Question

Data Engineers

Егор

Всем привет)) Может ли Спарк скл тупить из-за 2CPU в контейнере?

Данные не огромные
А он запросы обрабатывает по 20мин

Или дело в Hive…

#hadoop #russian #software

0

13.11.2023

2 ответов

25 просмотров

Евгений Глотов

Нужно посмотреть в UI, когда начался запрос, когда закончился, когда начались джобы, когда закончились Если где-то есть дырки по времени - значит долго строится запрос или допустим много партиций создаётся на выходе, и это проблема на драйвере

0

13.11.2023

Artem · Accepted Answer

Artem

треддамп экзекутора гляньте - как правило тупняки это IO, cpu-intensive запросы на практике реже встречаются

0

13.11.2023

52 похожих чатов

Всем привет)) Может ли Спарк скл тупить из-за 2CPU в контейнере?

2 ответов

Похожие вопросы