184 похожих чатов

Привет, почему при select * from ReplacingMergeTree FINAL - всё

равно вижу дубликаты по моему ключу?

16 ответов

17 просмотров

без ddl таблицы тут сложно ответить например, если одни и те же значения ключа раскиданы по разным партициям, то при do_not_merge_across_partitions_select_final = 1 на сервере, select final вернет дубликаты по ключу

Nik S.- Автор вопроса
ivan
без ddl таблицы тут сложно ответить например, если...

хм, похоже это может быть наш случай

Nik S.- Автор вопроса
ivan
без ddl таблицы тут сложно ответить например, если...

то есть они должны быть в одной партиции чтобы final работал без дубликатов?

Nik S.- Автор вопроса

в данный момент do_not_merge_across_partitions_select_final = 0, и всё равно возвращает дубликаты

Nik S.
в данный момент do_not_merge_across_partitions_sel...

тогда придется подождать ответов других товарищей в чате, я так сказать, что случилось, не могу

Nik S.- Автор вопроса
ivan
а таблица шардированная?

да, дело в том что мы добавили еще 4 сервера (2 шарды по 2 реплики у каждой)

Nik S.
да, дело в том что мы добавили еще 4 сервера (2 ша...

тогда надо смотреть, не получилось ли так, что данные с одним ключом по разным шардам разлетелись такое бывает, когда например, поверх replacingmergetree делают distributed таблицу с rand() функция shardNum() в помощь

Nik S.- Автор вопроса
Nik S.- Автор вопроса
ivan
да

они у нас в разных шардах и были, у нас на distributed таблице cityHash64

Nik S.
они у нас в разных шардах и были, у нас на distrib...

не понял, если у вас cityHash64 от какого-то из полей ключа, то как данные с одним и тем же ключом оказались на разных шардах?

Nik S.- Автор вопроса
ivan
не понял, если у вас cityHash64 от какого-то из по...

потому что cityHash64 он включает колонку по дате, там другие колонки, не такие как в order by

Nik S.
потому что cityHash64 он включает колонку по дате,...

а, всё намного проще ну, это для ключа то же самое, что rand()

Nik S.- Автор вопроса
ivan
тогда надо смотреть, не получилось ли так, что дан...

если данные с одним order by ключом попадают в разные шарды, то они не будут дедуплицированны?

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
13
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
в JclConsole объявлено так: function CtrlHandler(CtrlType: DWORD): BOOL; stdcall; - где ваше объявление с stdcall? у вас на картинке нет stdcall
Karagy
8
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
~ 2m21s  nix shell github:nixos/nixpkgs#stack ~  stack ghc -- --version error: … while calling the 'derivationStrict' builtin at /builtin/derivation.nix:...
Rebuild your mind.
6
Карта сайта