184 похожих чатов

Можно ли сделать проекцию на таблице с ReplacingmergeTree? пытаюсь, что

то создается но висит в невыполненных и не используется. версия 23.8.1.41588

26 ответов

37 просмотров
Александр- Автор вопроса

а ну почитал похоже что нельзя

Александр
а ну почитал похоже что нельзя

технически можно, у нас на проде живёт одна такая надо только помнить о подводных камнях такой идеи, а их там хватает )

Александр- Автор вопроса
Александр
а способ так сделать неподскажете?

да так же, как и на обычном MergeTree, там никакой разницы в создании нет https://fiddle.clickhouse.com/bbee2fb0-27bf-45e6-abef-281c0fe3ecf7

Почему нельзя? Делается вполне

Sergey Platonov
Почему нельзя? Делается вполне

https://github.com/ClickHouse/ClickHouse/issues/24778

В parts_to_do что?

Denny [Altinity]
https://github.com/ClickHouse/ClickHouse/issues/24...

да, это те самые подводные камни, о которых я говорил. поэтому наши инженеры пере-материализуют проекции в тех партициях, где им понадобилось перезалить данные

Denny [Altinity]
https://github.com/ClickHouse/ClickHouse/issues/24...

Это касается агрегаций. Сортировки же должны работать?

Sergey Platonov
Это касается агрегаций. Сортировки же должны работ...

Нет. Тоже самое. Там будет мусор запреплйсенный

Denny [Altinity]
Нет. Тоже самое. Там будет мусор запреплйсенный

И как выкручиваться, если МV лить в обычную МТ там будут дубли.

Александр- Автор вопроса
Denny [Altinity]
В parts_to_do что?

все 3 не выполнены

Sergey Platonov
И как выкручиваться, если МV лить в обычную МТ там...

Ниче не понять. На примере показывайте/проверяйте

Denny [Altinity]
Геморройно

это да каждый перезалив — это clear, insert, optimize final, materialize. спасает то, что поддерживается in partition и что перезаливы требуются не так часто но эта проекция очень помогает в проектных задачах

Александр
все 3 не выполнены

В system.parts такой парт есть?

Александр- Автор вопроса
Denny [Altinity]
Ниче не понять. На примере показывайте/проверяйте

Есть Replacing в которую льется снаружи поток от insert и update в другой базе. Первичный ключ ID Но для аналитических запросов нужны группировки по датам, группам и тп. Соответственно нужны проекции как добавляющие сортировки так и желательно агрегации. Если на Replacing проекции не работают, то нужно переливать дальше. Но при этом что делать с дедублицированием?

Александр- Автор вопроса

если ставить mutations_sync = 2 то выдает ошибку и не материализует

Александр
screenshot да вот они три верхних

Где? Я вижу другие номера парьлв

Александр- Автор вопроса
Denny [Altinity]
Что такое s3withkeeper ?

не знаю, использую облако clickhouse.com развернул в нем

Denny [Altinity]
Да просто делать запросы к replacing.

Просто запросы в имеющихся условиях работают по 20-30с А к ним еще джойны (не могу на это повлиять) На тех же данных но с другой сортировкой 2с, с агрегацией в проекции 0.2с Отсюда и по ребрость

Александр
не знаю, использую облако clickhouse.com развернул...

Так там в саппорт и спросите. Они точно починят

Похожие вопросы

Обсуждают сегодня

Anyone here suffers from unexplained aural migraines, who would be up for talking for a bit? Doesn't *have* to be aural, but I am not asking about headaches, I mean actual mi...
Martin Rys
55
подскажите пожалуйста, как мне освободить результат записанный в переменную result? в чем проблема подскажите если МОЖЕТЕ?
Михаил Helper
28
есть тут кто-то , кто только начал изучать си? если проходите курс на степике или как-то сами изучаете, пишите, может, скооперируемся?..
Eule
25
Слушайте, ещё такая интересная задачка. Сделан аудит действий пользователей через триггеры в базе, соответственно каждый пользователь имеет свой логин и пароль в базе. Это пре...
Сергей Бычков
12
Скажите, тут нет проблемы? IMyInterface1 = interface function GetInterface2: IInterface2; ... function TMyInterface.GetInterface2: IInterface2; begin Result := TI...
Ruslan aka DUDE
18
вопрос по москвину - не понимаю вот такого вопроса похоже Сколько разных всегда завершающихся функций с типом a -> a -> b -> a -> a можно реализовать? Две функции одинаково...
Fedor
11
Кстати, раз про скачивание файлов разговор зашел) Сделал бота для себя (транскрибирующего и суммаризирующего встречи) но не ожидал что за 2 месяца 10к пользователей набежит😅...
Andrey Obolenskiy
8
я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
Утра доброго. Просветите пожалуйста. Хочу сделать rest сервер на делфи. Посмотрел 3 фреймворка: dmvc, Mars, mormot. Ни в одном из них не упоминается ассинхронная обработка вхо...
Сергей Бычков
10
возможно для форматирования TimeStampZ нужен другой механизм, не?
Роман Лях (rgreat)
13
Карта сайта