Подскажите пожалуйста, пытаюсь через @Query подтянуть 120000 сущностей. Долго ли

Question

Подскажите пожалуйста, пытаюсь через @Query подтянуть 120000 сущностей. Долго ли

Spring Data Jpa он будет их мапить? У меня почему то довольно долго выходит именно маппинг, сам запрос в БД отрабатывает быстро. Еще почему то он порциями limit тащит все

#programming #russian #springframework

0

30.10.2023

22 ответов

14 просмотров

Ебу Казино Автор вопроса

+7908
N+1?

не, fetch join

0

6 месяцев назад

Artem Mezhelovsky

Долго это скок?

0

6 месяцев назад

+7908

Ебу Казино
не, fetch join

Но он делает лимит, хотя в квери лимита нет?

0

6 месяцев назад

Ебу Казино Автор вопроса

5 минут, потом shutdown, но 5 минут это очень долго. Сам в бд запрос отрабатывает за 3-7 сек

0

6 месяцев назад

Alexandr ∨∧‾ Emelyanov

Лимит это батчинг По хорошему тебе надо стримить, т.е. взять Stream<Entity> Но в целом, jpa не очень подходит под такую задачу

0

6 месяцев назад

Artem Mezhelovsky

Ебу Казино
5 минут, потом shutdown, но 5 минут это очень долг...

Мб в хип не может все уместить?

0

6 месяцев назад

Anton U

Ебу Казино
5 минут, потом shutdown, но 5 минут это очень долг...

Как минимум делай транзакцию readOnly или хинтом в JPA, должно немного помочь.

0

6 месяцев назад

Ебу Казино Автор вопроса

Artem Mezhelovsky
Мб в хип не может все уместить?

не, тогда бы с Exception падал

0

6 месяцев назад

Artem Mezhelovsky

Ебу Казино
не, тогда бы с Exception падал

А ты локально запускаешь?

0

6 месяцев назад

Artem Mezhelovsky

Ебу Казино
не, тогда бы с Exception падал

Еще может быть мусорщик пытается почистить неудачно и делает stw

0

6 месяцев назад

Ебу Казино Автор вопроса

Artem Mezhelovsky
А ты локально запускаешь?

да

0

6 месяцев назад

Alexandr ∨∧‾ Emelyanov

Ебу Казино
да

120к объектов в кеше сессии это не хорошо

0

6 месяцев назад

Anton U

Artem Mezhelovsky
Мб в хип не может все уместить?

типовая рекомендация тут - это readOnly + Stream + процессить энтити по-одной и детачить из сессии сразу как вытащил из стрима

0

6 месяцев назад

Artem Mezhelovsky

Anton U
типовая рекомендация тут - это readOnly + Stream +...

А как стрим помогает?

0

6 месяцев назад

Anton U

Artem Mezhelovsky
А как стрим помогает?

емнип, там в базе открывается курсор, и jpa потихоньку тянет с этого курсора строки по мере необходимости в сумме с детачем, это даёт константное и небольшое потребление памяти

0

6 месяцев назад

Artem Mezhelovsky

Anton U
емнип, там в базе открывается курсор, и jpa потихо...

О, а как это работает. Там же под капотом обычный jdbc выходит что мы получаем resultset и затем делаем next каждый раз чтобы получить строку. И выходит что мы каждый раз двигаем курсор и ходим по сети до Бд?

0

6 месяцев назад

Anton U

Вроде того, но по факту это происходит батчами, он не по одной строке читает конечно. Для базы это не очень оптимально на самом деле, но на стороне джавы это лучше, так как можно свести кол-во объектов в гиберском кэше к минимуму.

0

6 месяцев назад

Artem Mezhelovsky

Anton U
Вроде того, но по факту это происходит батчами, он...

А если реактивный драйвер юзать?

0

6 месяцев назад

Anton U

Artem Mezhelovsky
А если реактивный драйвер юзать?

Подвезли реактивный драйвер для гибернейта? Емнип, реактивные jdbc, которые есть, медленнее в плане throughput, чем синхронные.

0

6 месяцев назад