Вот у меня ещё один кейс есть. Может кто-нибудь наблюдал такой

Question

Вот у меня ещё один кейс есть. Может кто-нибудь наблюдал такой

эффект.
Типо когда Спарк сессия устаёт и начинает медленно работать.

У меня есть приложение, оно работает примерно 2 часа.

Но когда я разбил это приложение на два по меньше, то время сократилось до 40 минут. То есть я последовательно запускаю эти два приложения друг за другом. И в совокупности они тратят в два раза меньше времени, чем первое большое приложение.

Хотя делают они то же самое.

И вот, как бы это глупо не звучало, может ли Спарк сессия «уставать», что она в какой-то момент времени начинает обрабатывать медленнее ?

#hadoop #russian #software

0

21.07.2022

1 ответов

21 просмотр

Дмитрий · Accepted Answer

Дмитрий

Конечно ! Гномики устали ... их нужно много, а у тебя из мало. А если реально, то это скорее вмего спил.

0

21.07.2022

52 похожих чатов

Вот у меня ещё один кейс есть. Может кто-нибудь наблюдал такой

1 ответов

Похожие вопросы