Приветствую, коллеги! При вставке в таблицу с движком ReplacingMergeTree() записей, которые

Question

Приветствую, коллеги! При вставке в таблицу с движком ReplacingMergeTree() записей, которые

полностью повторяют уже имеющиеся в таблице записи, ничего не происходит, т.е. данные в таблице внешне не меняются. Интересно, а велики ли накладные расходы на вставку таких строк?

Например, я перекладываю данные между таблицами запросами вида INSERT INTO.. SELECT FROM,
и при этом знаю, что 90% перекладываемых данных уже есть в принимающей таблице и от их переноса ничего не изменится,
то стоит ли морочиться отбором только новых данных, или игнорирование лишних строк это безболезненная операция и пусть себе льются?

Естественно, выделить только свежие данные для меня сейчас существенно сложнее чем перекладывать всю толпу.
Грубо говоря, я не знаю, что есть в приёмнике, и писать что-то типа WHERE ID not in (SELECT ID FROM target...) тоже не хочется.

#backend #clickhouse #database #devops #programming #russian

0

20.06.2022

9 ответов

14 просмотров

Дмитрий Жучков Автор вопроса

Vladimir Sokolov
Добрый день! Необходимо учесть, что если у вас нес...

да, про шардирование не подумал, его пока нет, но кто знает что будет в будущем, попробую всё таки не копировать лишние строки

0

20.06.2022

Vladimir Sokolov

Дмитрий Жучков
да, про шардирование не подумал, его пока нет, но ...

ну и помнить, что уникальность записи определяется по полям из ORDER BY в таблице

0

20.06.2022

Дмитрий Жучков Автор вопроса

Vladimir Sokolov
ну и помнить, что уникальность записи определяется...

у меня сейчас проблема в строках, которые полностью повторяют ранее вставленные строки :) а кроме случаев с шардами можно рассчитывать, что полностью аналогичная строка не вставится дублем, а будет проигнорирована? или оно реально вставляется, а потом сворачивается по ключам? т.е. сервер тратит время/ресурсы на эту операцию?

0

20.06.2022

Vladimir Sokolov

Дмитрий Жучков
у меня сейчас проблема в строках, которые полность...

Дедубликация происходит после вставки, ну и как минимум у строк отличается версия. Ну и удаляется же строка с меньшей версией, поэтому после вставки этот процесс и запускается.

0

20.06.2022

Дмитрий Жучков Автор вопроса

Vladimir Sokolov
Дедубликация происходит после вставки, ну и как ми...

ок, понятно, спасибо за помощь!

0

20.06.2022

Alexander

Дмитрий Жучков
ок, понятно, спасибо за помощь!

Ещё можно включить дедупликацию строк при вставке через опцию insert_deduplicate https://kb.altinity.com/altinity-kb-schema-design/insert_deduplication/

0

20.06.2022

ivan

Alexander
Ещё можно включить дедупликацию строк при вставке ...

как я понимаю, эта настройка ищет дубликаты только в наборе вставляемых данных, она не сравнивает их с данными таблицы (т.е. это не where not in table). а Дмитрий просто вставляет те же самые данные. активация этой настройки (если она сейчас у них отключена) лишь замедлит вставку.

0

20.06.2022

Denny [Altinity]

Alexander
Ещё можно включить дедупликацию строк при вставке ...

чем это поможет? Это вообще не про дедупликацию строк и по дефолту включено

0

20.06.2022

Vladimir Sokolov · Accepted Answer

Добрый день! Необходимо учесть, что если у вас несколько шардов и записи распределяются по шардам случайным образом, то одинаковые записи могут попасть на разные шарды и тогда записи не схлопнутся вовсе. Плюс клик дедублицирует данные в фоновом режиме и не сразу.

184 похожих чатов

Приветствую, коллеги! При вставке в таблицу с движком ReplacingMergeTree() записей, которые

9 ответов

Похожие вопросы