Есть несколко вопросов по Buffer таблице: > Заметим, что даже для

Question

Есть несколко вопросов по Buffer таблице: > Заметим, что даже для

таблиц типа Buffer не имеет смысла вставлять данные по одной строке, так как таким образом будет достигнута скорость всего лишь в несколько тысяч строк в секунду…
Понимаю что это довольно условно, но имеется ввиду запись в одну таблицу или в общем по кластеру.
Сейчас есть одна табличка, в нее идет порядка 4k одиночных записей в секунду, можно ли обойтись Buffer?
Так же несовсем понятен смысл этого
> Если таблица назначения является реплицируемой, то при записи в таблицу Buffer будут потеряны некоторые ожидаемые свойства реплицируемых таблиц.
Может кто-то расшифровать?

#backend #clickhouse #database #devops #programming #russian

0

04.02.2021

7 ответов

14 просмотров

Grisha Egorov Автор вопроса

Denny [Altinity]
1 можно 2 у replicated таблиц есть фича -- дедупл...

По поводу второго это относится только ко вставкам из buffer, правильно? Или при вставке из того же rabbitmq ожидать такого же поведения?

0

04.02.2021

Denny [Altinity]

Grisha Egorov
По поводу второго это относится только ко вставкам...

rabbitmq по другому работает. buffer пересортировывает инсерты которые вы повторяете с клиента, а повторяете по причине timeout / сетевой проблемы. rabbitmq engine выбирает из очереди, собирает блок, и делает инсерты сам, и повторяет сам внутри до успеха.

0

04.02.2021

Slach [altinity]

Denny [Altinity]
rabbitmq по другому работает. buffer пересортиро...

а он при этом ack посылает в очередь что обработал ДО INSERT или после? и где он блок хранит? на диске?

0

04.02.2021

Grisha Egorov Автор вопроса

Denny [Altinity]
rabbitmq по другому работает. buffer пересортиро...

Если я правильно понимаю, мне достаточно добавить к buffer таблице уникальное поле например с uuid чтобы такого не случилось, а в репликатед таблице это поле не обязательно должно быть

0

04.02.2021

Denny [Altinity]

Slach [altinity]
а он при этом ack посылает в очередь что обработал...

я не смотрел, наверное как в кафке, ack после успеха инсерта, блок в памяти, зачем на диске

0

04.02.2021

Denny [Altinity]

Grisha Egorov
Если я правильно понимаю, мне достаточно добавить ...

все неправильно поняли. Дедупликация инсертов это вообще не про это, читайте доку про репликацию.

0

04.02.2021

Denny [Altinity] · Accepted Answer

1 можно 2 у replicated таблиц есть фича -- дедупликация инсертов. Если инсерт совпадает до бита с одним из предыдущих, он будет пропущен. буферная таблица склеивает инсерты, поэтому они не совпадают до бита, поэтому дедупликация инсертов не работает

184 похожих чатов

Есть несколко вопросов по Buffer таблице: > Заметим, что даже для

7 ответов

Похожие вопросы