184 похожих чатов

Вопрос на миллион. можно ли DDL ON CLUSTER разнести в

разные очереди?

два года назад был такой комментарий, но там без деталей...
https://github.com/ClickHouse/ClickHouse/issues/15181#issuecomment-898988764

здесь пока грустный TODO
https://github.com/ClickHouse/ClickHouse/blob/06b05cf2aab79c2ca8acf0f9deb717763429368a/src/Databases/DatabaseReplicatedWorker.cpp#LL26C3-L26C3

А то у нас бывает что один супертяжелый ДДЛ (modify column), блокирует кучу DROP PARTITION+ когда очередь заполняется то дальнейшие DDL просто висят...

7 ответов

20 просмотров

мы решали тем что убрали использование ON CLUSTER) просто на каждом шарде выполняем отдельно в потоках

【D】【J】- Автор вопроса
Konstantin Ilchenko
мы решали тем что убрали использование ON CLUSTER)...

Ну да, мы тоже теперь так, но это костыль... хотелось бы понять может есть какой-либо прогресс на стороне КХ

【D】【J】
Ну да, мы тоже теперь так, но это костыль... хотел...

Кажется при серьезных нагрузках это маст хэв иметь умного клиента, который умеет сам много чего делать, например балансировку или кастомное шардирование, или параллельное выполнение запросов на шардах. У нас весь процессинг почти не использует дистрибьютед таблицы

【D】【J】- Автор вопроса
Konstantin Ilchenko
Кажется при серьезных нагрузках это маст хэв иметь...

это мы уже 4 года назад поняли, например правило №1 - не грузить в дистрибьютед )

【D】【J】
https://t.me/clickhouse_ru/266470

А как у вас это реализовано ?

【D】【J】- Автор вопроса
Константин
А как у вас это реализовано ?

На ETL уровне. Платформа спрашивает инфу о кластере и раскидывает. Но для большого кол-ва мелких таблиц дистрибьютед остался, иначе возрастают operational costs.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта