184 похожих чатов

Вопрос на миллион. можно ли DDL ON CLUSTER разнести в

разные очереди?

два года назад был такой комментарий, но там без деталей...
https://github.com/ClickHouse/ClickHouse/issues/15181#issuecomment-898988764

здесь пока грустный TODO
https://github.com/ClickHouse/ClickHouse/blob/06b05cf2aab79c2ca8acf0f9deb717763429368a/src/Databases/DatabaseReplicatedWorker.cpp#LL26C3-L26C3

А то у нас бывает что один супертяжелый ДДЛ (modify column), блокирует кучу DROP PARTITION+ когда очередь заполняется то дальнейшие DDL просто висят...

7 ответов

8 просмотров

мы решали тем что убрали использование ON CLUSTER) просто на каждом шарде выполняем отдельно в потоках

【D】【J】- Автор вопроса
Konstantin Ilchenko
мы решали тем что убрали использование ON CLUSTER)...

Ну да, мы тоже теперь так, но это костыль... хотелось бы понять может есть какой-либо прогресс на стороне КХ

【D】【J】
Ну да, мы тоже теперь так, но это костыль... хотел...

Кажется при серьезных нагрузках это маст хэв иметь умного клиента, который умеет сам много чего делать, например балансировку или кастомное шардирование, или параллельное выполнение запросов на шардах. У нас весь процессинг почти не использует дистрибьютед таблицы

【D】【J】- Автор вопроса
Konstantin Ilchenko
Кажется при серьезных нагрузках это маст хэв иметь...

это мы уже 4 года назад поняли, например правило №1 - не грузить в дистрибьютед )

【D】【J】
https://t.me/clickhouse_ru/266470

А как у вас это реализовано ?

【D】【J】- Автор вопроса
Константин
А как у вас это реализовано ?

На ETL уровне. Платформа спрашивает инфу о кластере и раскидывает. Но для большого кол-ва мелких таблиц дистрибьютед остался, иначе возрастают operational costs.

Похожие вопросы

Обсуждают сегодня

зачем же переименовывать ? чтобы кол-во участников возросло или вдруг IBM от этого снова на свифте начнет кодить ? Я не понимаю что страшного в том что свифт гавно, если это т...
Oleh Nerzh
10
здравствуйте. совершаю вот такую вещь: strcpy(line, (char)current_number); где current number — неподписанный шорт, line — массив чаров. ругань следующая: main.c:29:30: error...
Roberto's Ширгозиев
13
я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
@MrMiscipitlick А можешь макрос написать, который будет вычислять смещение относительно переданных меток? Просто .label1-.label2, и вернуть значение.
КТ315
35
А еще в перле можно уже @arr1 + @arr2?
Sergei Zhmylove
53
Можно попросить небольшое ревью кода? Тут немнога, я ничего интереснее не придумал, чем написать аналог tree в качестве практики с cmake. https://github.com/hrimov/tree-unix/...
Andrew Hrimov
11
Всем привет. Ребят подскажите пожалуйста. Вопрос по дизасемблировани. Начну с начала. У меня есть скомпилированная программа на ГО (я разработчик) - в ней есть защита лицензии...
Zloy
11
Добрый день! Подскажите, пожалуйста: какими компетенциями нужно обладать, чтобы претендовать на работу эрланг (отдельная благодарность, если про элексир тоже подскажете) разр...
via ☸️ led
20
Но если Евгений и Алекс используют в боевых условиях, то почему нет? А ты как-то про бизнес больше задвигаешь, это имеет к разработке отношение, но все же этим больше другие л...
Keiman
5
Честно говоря замучался с пробросом токена из Github Secrets. Из документации все равно ничего непонятно, перебираю всевозможные варианты оттуда, пока ничего не работает. Ест...
1
Карта сайта