равно вижу дубликаты по моему ключу?
без ddl таблицы тут сложно ответить например, если одни и те же значения ключа раскиданы по разным партициям, то при do_not_merge_across_partitions_select_final = 1 на сервере, select final вернет дубликаты по ключу
хм, похоже это может быть наш случай
то есть они должны быть в одной партиции чтобы final работал без дубликатов?
в данный момент do_not_merge_across_partitions_select_final = 0, и всё равно возвращает дубликаты
тогда придется подождать ответов других товарищей в чате, я так сказать, что случилось, не могу
а таблица шардированная?
да, дело в том что мы добавили еще 4 сервера (2 шарды по 2 реплики у каждой)
тогда надо смотреть, не получилось ли так, что данные с одним ключом по разным шардам разлетелись такое бывает, когда например, поверх replacingmergetree делают distributed таблицу с rand() функция shardNum() в помощь
с одним ключом который в order by?
они у нас в разных шардах и были, у нас на distributed таблице cityHash64
не понял, если у вас cityHash64 от какого-то из полей ключа, то как данные с одним и тем же ключом оказались на разных шардах?
потому что cityHash64 он включает колонку по дате, там другие колонки, не такие как в order by
а, всё намного проще ну, это для ключа то же самое, что rand()
если данные с одним order by ключом попадают в разные шарды, то они не будут дедуплицированны?
Обсуждают сегодня