184 похожих чатов

Можно ли сделать проекцию на таблице с ReplacingmergeTree? пытаюсь, что

то создается но висит в невыполненных и не используется. версия 23.8.1.41588

26 ответов

57 просмотров
Александр- Автор вопроса

а ну почитал похоже что нельзя

Александр
а ну почитал похоже что нельзя

технически можно, у нас на проде живёт одна такая надо только помнить о подводных камнях такой идеи, а их там хватает )

Александр- Автор вопроса
Александр
а способ так сделать неподскажете?

да так же, как и на обычном MergeTree, там никакой разницы в создании нет https://fiddle.clickhouse.com/bbee2fb0-27bf-45e6-abef-281c0fe3ecf7

Почему нельзя? Делается вполне

Sergey Platonov
Почему нельзя? Делается вполне

https://github.com/ClickHouse/ClickHouse/issues/24778

В parts_to_do что?

Denny [Altinity]
https://github.com/ClickHouse/ClickHouse/issues/24...

да, это те самые подводные камни, о которых я говорил. поэтому наши инженеры пере-материализуют проекции в тех партициях, где им понадобилось перезалить данные

Denny [Altinity]
https://github.com/ClickHouse/ClickHouse/issues/24...

Это касается агрегаций. Сортировки же должны работать?

Sergey Platonov
Это касается агрегаций. Сортировки же должны работ...

Нет. Тоже самое. Там будет мусор запреплйсенный

Denny [Altinity]
Нет. Тоже самое. Там будет мусор запреплйсенный

И как выкручиваться, если МV лить в обычную МТ там будут дубли.

Александр- Автор вопроса
Denny [Altinity]
В parts_to_do что?

все 3 не выполнены

Sergey Platonov
И как выкручиваться, если МV лить в обычную МТ там...

Ниче не понять. На примере показывайте/проверяйте

Denny [Altinity]
Геморройно

это да каждый перезалив — это clear, insert, optimize final, materialize. спасает то, что поддерживается in partition и что перезаливы требуются не так часто но эта проекция очень помогает в проектных задачах

Александр
все 3 не выполнены

В system.parts такой парт есть?

Александр- Автор вопроса
Denny [Altinity]
Ниче не понять. На примере показывайте/проверяйте

Есть Replacing в которую льется снаружи поток от insert и update в другой базе. Первичный ключ ID Но для аналитических запросов нужны группировки по датам, группам и тп. Соответственно нужны проекции как добавляющие сортировки так и желательно агрегации. Если на Replacing проекции не работают, то нужно переливать дальше. Но при этом что делать с дедублицированием?

Александр- Автор вопроса

если ставить mutations_sync = 2 то выдает ошибку и не материализует

Александр
screenshot да вот они три верхних

Где? Я вижу другие номера парьлв

Александр- Автор вопроса
Denny [Altinity]
Что такое s3withkeeper ?

не знаю, использую облако clickhouse.com развернул в нем

Denny [Altinity]
Да просто делать запросы к replacing.

Просто запросы в имеющихся условиях работают по 20-30с А к ним еще джойны (не могу на это повлиять) На тех же данных но с другой сортировкой 2с, с агрегацией в проекции 0.2с Отсюда и по ребрость

Александр
не знаю, использую облако clickhouse.com развернул...

Так там в саппорт и спросите. Они точно починят

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта