500 мил записей.
Простым client.index({ ....
Очень долго. 4.5 мил записей ----- 1 час 10 мин.
Есть ли способ делать это быстрее?
@Vasinkin ваша парафия?)
Есть балк инсёрты
МарРедьюс можно попробовать А в чем ботлнек?
Вообще, где она лежат? Я бы смотрел в сторону logstash для такого количества данных.
mysql
Тогда ваш выбор logstash с коннкетером к этой бд.
Как вариант - напилить на бд несколько вьюх, например по времени и запустить пайплайны в логстеше с этими вьюхами. Больше вьюх - больше логстеша - быстрее загрузка
Обсуждают сегодня