Всем привет! Подскажите пожалуйста, как такое вышло? https://fiddle.clickhouse.com/b6881162-a97e-4867-b3f6-053aace13780 Обе строчки находятся в

Question

Всем привет! Подскажите пожалуйста, как такое вышло? https://fiddle.clickhouse.com/b6881162-a97e-4867-b3f6-053aace13780 Обе строчки находятся в

одной партиции, причем если поменять порядок, сначала вставить 1 потом -1 все будет работать, но ведь это не должно ни на что менять....

#backend #clickhouse #database #devops #programming #russian

0

03.10.2023

11 ответов

24 просмотра

Stranger Автор вопроса

Tetra
а что не так?

я вставил 2 записи с одинаковым ORDER BY , которые оказываются в одной партиции, с противположными sign, по смыслу CollapsingMT данные строчки должны схлопнуться

0

03.10.2023

Tetra

Stranger
я вставил 2 записи с одинаковым ORDER BY , которые...

For each resulting data part ClickHouse saves: The first “cancel” and the last “state” rows, if the number of “state” and “cancel” rows matches and the last row is a “state” row. из https://clickhouse.com/docs/en/engines/table-engines/mergetree-family/collapsingmergetree#table_engine-collapsingmergetree-collapsing-algorithm Собсна без файнала как раз показывает что остаются обе строки, т.к. sign=1 добвлена позже в любом случае вы не можете полагаться на результат даже файнала и должны писать правильный запрос с агрегатом с учетом sign

0

03.10.2023

Stranger Автор вопроса

Tetra
For each resulting data part ClickHouse saves: Th...

Я это понимаю, из документации же следует что FINAL или optimize table final схлопывает записи с одинаковым ключом сортировки

0

03.10.2023

Tetra

Stranger
Я это понимаю, из документации же следует что FIN...

я привел цитату из доки - не смерживает в вашем случае

0

03.10.2023

Stranger Автор вопроса

Благодаря вам узнал, что у VersionedCollapsingMT version может быть не Int'ом (в документации сказано исключительно Int8)

0

03.10.2023

Stranger Автор вопроса

а в вашем примере version то одинаковые, при этом данные схлопнулись, верно?

0

03.10.2023

papa karlo

Stranger
Благодаря вам узнал, что у VersionedCollapsingMT v...

version точно может быть int32, datetime это конечно интересно. видимо считается что за одну секунду два раза нельзя поменяться.

0

03.10.2023

Stranger Автор вопроса

Мне нужно удалять строчку и желательно чтоб оно в время мерджа тоже удалялось даже если я в кривой последовательности вставляю. Получается VersionedCollapsingMT закрывает эту проблему, верно?

0

03.10.2023

Tetra

Stranger
Мне нужно удалять строчку и желательно чтоб оно в ...

да, именно это и написано в описании к VCMT VersionedCollapsingMergeTree serves the same purpose as CollapsingMergeTree but uses a different collapsing algorithm that allows inserting the data in any order with multiple threads. In particular, the Version column helps to collapse the rows properly even if they are inserted in the wrong order. In contrast, CollapsingMergeTree allows only strictly consecutive insertion.

0

03.10.2023

Stranger Автор вопроса

К сожалению по VersionedCollapsingMergeTree очень мало кейсов и документации, спасибо что подсказали решение 🙏

0

03.10.2023

Tetra · Accepted Answer

Tetra

а что не так?

0

03.10.2023

184 похожих чатов

Всем привет! Подскажите пожалуйста, как такое вышло? https://fiddle.clickhouse.com/b6881162-a97e-4867-b3f6-053aace13780 Обе строчки находятся в

11 ответов

Похожие вопросы