184 похожих чатов

Проблема: аналитики попросили сделать отчет с агрегацией почти по всем

полям таблицы за месяц, результат агрегированных данных за день болучается около гигабайта, за месяц будет около 30 ГБ. Пробывал играться с max_bytes_before_external_group_by, но после 98% выполнения запроса click падает с ошибкой:
↑ Progress: 54.07 million rows, 23.72 GB (11.38 million rows/s., 4.99 GB/s.) 98%
Received exception from server (version 1.1.54382):
DB::Exception: Memory limit (for query) exceeded: would use 9.31 GiB (attempt to allocate chunk of 65536 bytes), maximum: 9.31 GiB. Правильно ли я понимаю что конечноый результат агрегации должен поместиться в память?

Я понимаю что вот этот конкретный пример уперся в лимтит из конфига(max_memory_usage), я могу увеличить этот параметр, но рано или поздно с такими требоаваниями упрусь в размер памяти на сервере.

Вопрос скорее теоретический. Правильно ли я понимаю что моя проблема не решаема(если нет возможности увеличить max_memory_usage) и нужно разбивать результат на мелкие куски путем фильтрации по датам?

1 ответов

6 просмотров
Timur-Solodovnikov Автор вопроса

distributed_aggregation_memory_efficient=1; решил проблему

Похожие вопросы

Обсуждают сегодня

@Aiwan что такое база образца?
Alexey
27
Не многие знают, а кто знает, тот уже успел забыть, что в далёком 2004 году эта игра произвела настоящий фурор, настолько революционной была технология, применяемая для её соз...
ICCID
4
коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
Короче я тут узнал полный пиздец Что кучу постов которые я создавал через posted Спустя время не могу редактировать и менять Мол телега возвращае ошибку Это реально так ...
inc.
13
Хотя у меня сейчас есть более сложная задача, вот её думаю: как объяснить челу переходного возраста противоположного полу, обучающегося в польском колледже (а-ля наш техникум)...
Вячеслав Кузьменко
15
а сколько всего в IT умерло? Где флеш-игры, их было туча, где они все? Сегодня технология есть, а завтра вжух и мёртвая. Этот wasm сильно напоминает джавовские апплеты, silver...
Constantin F.
5
Добрый день Хочу начать обучение языку, не являюсь представителем it, буду благодарна за помощь, совсем пока не понимаю ничего) Подскажите, пожалуйста, где можно начать первы...
Sara Lala
30
а вы в курсе, что Initialize() не работает? var arr123: array[0..123] of Byte; ... Initialize(arr123, SizeOf(arr123));
Iluha Companets
8
что читать по делфи?вообще 0 в нем
fd dsds
9
верно что я могу удалить эти addq и subq т.к. со стеком никакого взаимодействия нет (исключая call)?
Michael
16
Карта сайта