Всем привет! Нужно ускорить выполнение insert'а в одну таблицу 2700

Question

Всем привет! Нужно ускорить выполнение insert'а в одну таблицу 2700

записей. Каждый insert содержит в себе select. Выполняется порядка 12 минут. Решено было разбить 2700 записей на части и каждую часть инсертить в свою временную таблицу в отдельном потоке. Т.е. в единицу времени, чтобы выполнялось несколько SQL. Но почему-то получаю сплошные ролбэки от Hikari. Как можно посмотреть причину ролбэка?
Многопоточность через parallel stream:
listSplitted.parallelStream().forEach(rec->
...
jdbcTemplate=new JdbcTemplate(...);
rec.forEach(){
jdbcTemplate.update(...)
}

#programming #russian #springframework

0

13.03.2022

2 ответов

12 просмотров

Timur Nurmagambetov

ну 12 минут это очень много, нужно разбираться и смотреть на что уходит время что там за селект, можно ли оптимизировать что за вставка, можно ли оптимизировать может база еле работает под текущей нагрузкой, а вы сверху еще тяжелый запрос можно оптимизировать текущую нагрузку, увеличивать железо, там партишены, шардинги возможно стоит пожертвовать согласованностью за счет предподсчета а параллельная запись может увеличить время

0

14.03.2022

Alexandr ∨∧‾ Emelyanov · Accepted Answer

1. Количество потоков должно быть не более размера пула 2. Соединения в твоей реализации должны быть открыты уже внутри parallel stream 3. Вообще подход так себе, ты на вставку одной строки открываешь отдельное соединение, что не быстро, даже при получении из пула Тебе нужен батчинг, можно батчем вставить все 2700 строк Альтернатива - разделить 2700 на количество соединений и попытаться вставить параллельными батчами, но я сомневаюсь что будет быстрее. Скорее будет медленнее

169 похожих чатов

Всем привет! Нужно ускорить выполнение insert'а в одну таблицу 2700

2 ответов

Похожие вопросы