184 похожих чатов

Всех приветствую! Есть таблица ReplacingMergeTree, в которой парты доросли до

ограничения по max_bytes_to_merge_at_max_space_in_pool и перестали сливаться. В таблицу ведется непрерывная запись с большим количеством дублей. Есть какой-то best practice что в таких случаях делать? OPTIMIZE FINAL как-то не очень хочется, так как получу парт ~1.5тб. Есть идея детачить парт и вручную проверять на наличие дублей переливая уникальные данные назад. Может есть более элегантное решение?

6 ответов

24 просмотра

а зачем? кликхаус сам в фоне это сделает максимально эффективно. или у вас в новом непрерывном потоке идут уже только уникальные строки, которые никак не пересекаются со старыми данными и вам хочется и старые данные привести в консистентное состояние? иначе если новые данные продолжают пересекаться со старыми, то в консистентном состоянии после оптимайза оно у вас проживёт максимум минуту.

Alexander- Автор вопроса
Vladimir Goncharov
а зачем? кликхаус сам в фоне это сделает максималь...

фоновые мержи прекращаются если суммарный размер кусков для слияния больше чем max_bytes_to_merge_at_max_space_in_pool получается со временем на старых партах мержи прекращаются совсем и к ним добавляются всё новые и новые

Alexander
фоновые мержи прекращаются если суммарный размер к...

На мой взгляд, надеяться на ReplacingMT в таких больших таблицах - архитектурная ошибка. Все время придется перемерживать те 1.5 терабайта, мало кто этого хочет. Побейте на партиции может?

Alexander- Автор вопроса
Tatiana [Altinity]
На мой взгляд, надеяться на ReplacingMT в таких бо...

Спасибо, Татьяна. Не бьется к сожалению разумно ( Буду костылить.

Alexander
Спасибо, Татьяна. Не бьется к сожалению разумно ( ...

так взять хеш % 20 от какого нибудь ключа из ORDER BY

Alexander- Автор вопроса
Dmitry [Altinity] Titov
так взять хеш % 20 от какого нибудь ключа из ORDER...

неплохой совет 👍, проблема что чтение по всей таблице, но попробую...

Похожие вопросы

Обсуждают сегодня

Ну вот просто даже давайте вот как. Какой нибудь конкретный кейс, можете в пример привести, где бч работает и приносит прикладную пользу, а не просто что бы было? Не крипту.
Alexander Andreev
22
Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
объясните пожалуйста, почему функция не работает должным образом? вроде должно брать активное окно сравнивать его размер с размером экрана, и если есть совпадение = true прове...
JF
9
> Копаем глубже > Следующий момент был, когда я спросил его, знает ли он JavaScript. Он ответил, что его учили работать с C#. Я тоже в университете писал на C#, но даже там мн...
Oleg Volkov
4
лучше скажите, причём тут паскаль?
Alexey Kulakov
36
И никого не интересует какие пакеты кто использует. ((% Заходишь на сайт симфони и видишь поддержку Украины - по законам РФ это ж экстремизм. Только никто не отказывается от с...
Am Ambrion
11
Чтобы перехватить все нажимания буков на форме, надо хук ставить? Пробовал на форме ОнКейДаун, оно ловит клаву если фокус не на компоненте с вводом текста
Serjone
15
Народ! Впервые клиенту пришло письмо от РКН, у вас, дескать, есть яндекс метрика, а нигде не написано, что вы ее юзаете. Никто не сталкивался?
Sasha Beep
14
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
7
Всем привет! вывожу на общей стр дочерние ресурсыв каждом ресурсе галерея, и первая фотка должна выводиться на общей [!DocLister? &prepare=photo !]
Alekso
12
Карта сайта