эффект.
Типо когда Спарк сессия устаёт и начинает медленно работать.
У меня есть приложение, оно работает примерно 2 часа.
Но когда я разбил это приложение на два по меньше, то время сократилось до 40 минут. То есть я последовательно запускаю эти два приложения друг за другом. И в совокупности они тратят в два раза меньше времени, чем первое большое приложение.
Хотя делают они то же самое.
И вот, как бы это глупо не звучало, может ли Спарк сессия «уставать», что она в какой-то момент времени начинает обрабатывать медленнее ?
Конечно ! Гномики устали ... их нужно много, а у тебя из мало. А если реально, то это скорее вмего спил.
Обсуждают сегодня