читаю документацию:
"Заметим, что даже для таблиц типа Buffer не имеет смысла вставлять данные по одной строке, так как таким образом будет достигнута скорость всего лишь в несколько тысяч строк в секунду, тогда как при вставке более крупными блоками, достижимо более миллиона строк в секунду"
Но какой тогда в ней смысл? Если я все равно должен обеспечить в приложении крупноблочную вставку, что мешает вставлять сразу в основную таблицу? Ведь это же как раз самое сложно собирать в блоки вставки и казалось бы именно буфер должен помочь избежать этого на уровне приложения.
Buffer в первую очередь чтобы не плодить миллион партиций
А можно пояснить? Партиции же в основной таблице строго заданы, какая связь с буфером?
Так вы попробуйте без него лить . В таблице будет куча "паразитных" партиций.
А если я сам буду вставлять пакетами по, скажем, тысячи записей или больше тоже?
Можете провести тест и попробовать. У нас такой возможности не было поэтому юзали буффер.
Ясно, спасибо за подсказку
По тысяче в буфер норм. Даже если вставлять по сотне записей за раз в буфер уже можно получить близкую к пиковой производительность вставки.
О, супер, спасибо.
Обсуждают сегодня