184 похожих чатов

Сделал материзованное view на AggregatingMergeTree но чето медленно оно кверится.

вообще по памяти валится. В чем может быть проблема?

14 ответов

26 просмотров

Что вы сделали ? Вы сделали MV на таблицу с движком AggregatingMergeTree ? Какой запрос медленно выполняется ? Какие агрегатные функции используете

William Ko- Автор вопроса
Константин
Что вы сделали ? Вы сделали MV на таблицу с движко...

1 да. MV на таблицу с движком SimpleAggregateFunction 2 медленно выполняются селекты с группировкой типо таких как на скрине 3 в основном max, один раз min, один раз groupUniqArrayArraySimpleState и один раз anyLastSimpleState

William Ko
screenshot 1 да. MV на таблицу с движком SimpleAggregateFunct...

Лучше покажите как создана AggregatingMergeTree и запрос текстом целиком. Если в запросе есть uniq то быстро не будет

William Ko- Автор вопроса
Konstantin Ilchenko
Лучше покажите как создана AggregatingMergeTree и ...

запрос создания таблицы или запрос создания вью. uniq есть. но он не критичен. щас без него попробую еще

William Ko
запрос создания таблицы или запрос создания вью. u...

Таблицы, у вас же вью вставляет в AggregatingMergeTree таблицу

William Ko- Автор вопроса
Konstantin Ilchenko
Таблицы, у вас же вью вставляет в AggregatingMerge...

CREATE TABLE db_name.table_name ( run_id_u String, run_start_time SimpleAggregateFunction(min, DateTime64(3)), run_last_timestemp SimpleAggregateFunction(max, DateTime64(3)), order_type SimpleAggregateFunction(max, LowCardinality(String)), some_id SimpleAggregateFunction(max, UInt16), data_source SimpleAggregateFunction(max, LowCardinality(String)), report_type SimpleAggregateFunction(max, LowCardinality(String)), account_id SimpleAggregateFunction(max, LowCardinality(String)), table_name SimpleAggregateFunction(max, LowCardinality(String)), date_from SimpleAggregateFunction(max, Date), date_to SimpleAggregateFunction(max, Date), some_column SimpleAggregateFunction(max, LowCardinality(String)), order_id SimpleAggregateFunction(max, UInt32), run_events_count SimpleAggregateFunction(max, UInt16), event_types_array SimpleAggregateFunction(groupUniqArrayArray, Array(String)), has_extract_message SimpleAggregateFunction(max, UInt8), message SimpleAggregateFunction(max, String), exception_text SimpleAggregateFunction(max, String), message_type_with_error SimpleAggregateFunction(anyLast, LowCardinality(String)), error_log_message_id SimpleAggregateFunction(anyLast, String), request_id SimpleAggregateFunction(max, UInt32), _trace_id SimpleAggregateFunction(max, String), job_id SimpleAggregateFunction(max, Nullable(UInt32)), INDEX run_last_timestemp_idx run_last_timestemp TYPE minmax GRANULARITY 5, INDEX job_date_from_idx date_from TYPE minmax GRANULARITY 5, INDEX job_date_to_idx date_to TYPE minmax GRANULARITY 5, INDEX run_id_universal_idx run_id_universal TYPE bloom_filter GRANULARITY 5, INDEX table_name_idx table_name TYPE bloom_filter GRANULARITY 5 ) ENGINE = AggregatingMergeTree PARTITION BY toYYYYMM(run_start_time) ORDER BY (agency_id, data_source, report_type, account_id, order_id, table_name, run_id_u, run_last_timestemp) SETTINGS index_granularity = 8192

William Ko
CREATE TABLE db_name.table_name ( run_id_u St...

А без индексов не пробовали? Сколько строк в партиции? Возможно только медленнее делают запросы. Как выглядит сам селект?

William Ko- Автор вопроса
Konstantin Ilchenko
А без индексов не пробовали? Сколько строк в парти...

щас сделаем без индексов. но не похоже что это что-то поменяет селект на котором уже падает вот так. даже фильт по дате не спасает

William Ko
щас сделаем без индексов. но не похоже что это что...

А зачем maxSimpleState в селект, достаточно же просто max?

William Ko- Автор вопроса
William Ko
ну пробовал может как-то повлияет

Так а сколько записей и какой лимит по памяти? Надо было с этого начать наверное)

William Ko- Автор вопроса
Konstantin Ilchenko
Так а сколько записей и какой лимит по памяти? Над...

в исходной таблице 120 млн строк. 24гб. в аггерированной 30 млн

William Ko
в исходной таблице 120 млн строк. 24гб. в аггериро...

вроде не много, max_bytes_before_external_group_by = ‘12G’ - так же проходит?

William Ko- Автор вопроса
Konstantin Ilchenko
вроде не много, max_bytes_before_external_group_by...

чуть чуть бодрее стало, но больше колонок уже падает

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
32
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
25
Книга Юрова В.И пойдёт для обучения?
Botsman
24
$params = [ 'formid' => 'feedbackForm', 'formTpl' => '@CODE: <form class="form-validate" data-id="ajax_form"> <fieldset class="margin-bottom-md"> ...
Pathologic
1
> Примечательно, что новый владелец удаляет из GitHub любые жалобы, указывающие на подозрительную активность или смену владельца, и, видимо, рассчитывает на то, что пользовате...
Alex Sherbakov
1
Подскажите пожалуйста, а я могу вот такую штуку использовать? rpc, только реализованное в реббите https://www.rabbitmq.com/tutorials/tutorial-six-php ( или https://habr.com/ru...
Artyom
11
а мы ещё не созрели до того, чтобы создать отдельный чатик про настройку редакторов?
Cheese Syrowiecki
16
И ещё вопрос: можно ли типа как на дос как-то запариться и с помощью прерываний выводить текст, вместо функции printf ?
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
34
Всем привет! У меня почему-то по-разному отображается TListView в Debug и Release режимах (FireMonkey)! При запуске под Win приложения TListView заливается программо. в Debug ...
Александр COM
8
Ладно, ещё тупого спрошу. Код должен банально вывести значение регистра на консоль, на деле же не выводя ничего, просто оставляя нерабочую консоль (открыта, ничего не написан...
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
25
Карта сайта