184 похожих чатов

Добрый всем. Подскажите по AggregatingMergeTree. Есть таблица AggregatingMergeTree, всего с одной AggregateFunction(uniq,

Int64)
и Order by по 13 полям.
Есть MV для этой таблицы.
Все как рекомендуется.

И тут есть 2 вопроса/непонятки:
1. В таблице всего 16 млн строк, при этом она занимает 20 гигов. сжатия почти нет. Причем в таблице нет каких-то больших текстов, 10 полей вообще числа до 10.
2. При выборке из таблицы размером в 20 гигов, падает в MEMORY_LIMIT 56 ГБ..
Делается агрегация по полям и uniqMerge()

Вся эта конструкция как раз и задумывалась чтобы избежать падения запроса по памяти, т.к. таблица источник более 10 млрд строк и 700 Гб...

Куда копать?

7 ответов

4 просмотра

ну во первых смотрите размер по колонкам, чтобы понимать что конкретно занимает место, пример запроса https://pastila.nl/?0317470c/852ea9995e9355d0fe24ce1bde7090fd#yLJ4Wzvfyjdfnn6lclL+Fg== во вторых как хранить state от uniq? это просто какие хешированные значения от исходных, чтобы потом можно былол смержить состояния, поэтому сжатия там не ожидайте Пробуйте менее точные функции, например uniqHLL, он должен места меньше занимать

Максим-Калягин Автор вопроса
Максим-Калягин Автор вопроса
Konstantin Ilchenko
ну во первых смотрите размер по колонкам, чтобы по...

Тогда очень сомнительная вообще выгода от использования такого подхода AggregatingMergeTree -State -Merge Уменьшило ли количетсво строчек? - да, а толку... запрос все равно не выполняется )))

Максим Калягин
Тогда очень сомнительная вообще выгода от использо...

ну, я бы не называл AggregatingMergeTree сомнительным "вообще" только из-за того, что вы туда положили non-additive метрику, как uniq, и движку приходится все уникальные значения хранить )

Максим Калягин
Тогда очень сомнительная вообще выгода от использо...

ну магии не существует) или терять в точности или больше памяти) в других базах в основном используется HLL, попробуйте его

а можете полностью показать как создана вьюха?

Максим-Калягин Автор вопроса
Tetra
а можете полностью показать как создана вьюха?

create materialized view table_mv to table_agg as select . . . . . . uniqState(cm.client_mapping_key) as cnt_client_mapping_key FROM source_table cm group by . . . . . . ;

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
32
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
25
Книга Юрова В.И пойдёт для обучения?
Botsman
24
$params = [ 'formid' => 'feedbackForm', 'formTpl' => '@CODE: <form class="form-validate" data-id="ajax_form"> <fieldset class="margin-bottom-md"> ...
Pathologic
1
> Примечательно, что новый владелец удаляет из GitHub любые жалобы, указывающие на подозрительную активность или смену владельца, и, видимо, рассчитывает на то, что пользовате...
Alex Sherbakov
1
Подскажите пожалуйста, а я могу вот такую штуку использовать? rpc, только реализованное в реббите https://www.rabbitmq.com/tutorials/tutorial-six-php ( или https://habr.com/ru...
Artyom
11
а мы ещё не созрели до того, чтобы создать отдельный чатик про настройку редакторов?
Cheese Syrowiecki
16
И ещё вопрос: можно ли типа как на дос как-то запариться и с помощью прерываний выводить текст, вместо функции printf ?
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
34
Всем привет! У меня почему-то по-разному отображается TListView в Debug и Release режимах (FireMonkey)! При запуске под Win приложения TListView заливается программо. в Debug ...
Александр COM
8
Ладно, ещё тупого спрошу. Код должен банально вывести значение регистра на консоль, на деле же не выводя ничего, просто оставляя нерабочую консоль (открыта, ничего не написан...
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
25
Карта сайта