1млрд записей) их нужно мигрировать в другую базу. Но при миграции нужно немного изменять данные, и делать некоторые расчеты.
Сейчас мы велосипедим свои конверторы. Берется пул записей из исходной таблицы, и подается в пул потоков, каждый поток делает бизнес-логику и складывает в контейнер готовых к сохранению записей. После обработки всего пула исходных записей, все данные из контейнера записываются в БД.
Может можно как-то упростить процесс? Например, написать бизнес-логику, впихнуть во фреймворк, и он всё сделает.
Spring Batch?
Обсуждают сегодня