184 похожих чатов

Всем добрый день. Заметили, что во время исполнения запроса по

созданию таблицы (достаточно тяжелой), если поступают другие select-запросы, то очень часто все запросы разом отваливаются из-за лимита памяти (увеличить никак — памяти физически больше нет).
Как реализовать очередь запросов, для недопущения подобных ситуаций?
(я не суперспец в этих вопросах)
Куда обратить свое внимание?

4 ответов

9 просмотров

Попробуйте уменьшить max_insert_threads или max_threads для запроса "создания таблицы".

Юрий-Шахов Автор вопроса
Ilya Golshtein
Попробуйте уменьшить max_insert_threads или max_th...

я правильно понимаю, что запросы будут также слетать, даже если insert-ов не будет, но будет несколько сложных select-ов. Какой вариант решения мог бы подойти и для этого случая? Очередь ожидания исполнения запросов силами CH можно организовать? Поможет ли установить параметр max_thread_pool_size в значение 2 (или 3) ? Или этот параметр для другого?

Юрий Шахов
я правильно понимаю, что запросы будут также слета...

Будут слетать. Лучше быть к этому готовым и уметь перезапускать упавшие запросы, все попытки полностью исключиь такое развитие событий ведут к неоптимальной производительности. max_thread_pool_size - рядом, но все же не для этого. Лучше смотреть на max_concurrent_queries_* и на max_threads для вообще всех запросов. А можете рассказать о своем кейсе поподробнее? Любопытно, что вы такое делаете.

Юрий-Шахов Автор вопроса
Ilya Golshtein
Будут слетать. Лучше быть к этому готовым и уметь...

Мы - один из агрегаторов (по сути), собираем данные об остатках товаров в торговых сетях - вплоть до sku и торговой точки. Уникальных позиций - тысячи, торговых точек - тысячи. Insert-запрос используется для пополнения денормализованной таблицы.

Похожие вопросы

Обсуждают сегодня

А еще в перле можно уже @arr1 + @arr2?
Sergei Zhmylove
53
я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
Привет всем. появился вопрос. Разрабатываю сайт, в данный момент он запущен. Хостинг beget. Добавляю на сайт яндекс метрику с помощью полей client-settings (взято отсюда http...
Andrew
2
Подскажите, где смотреть результат выполнения программы? Код: ;.686 ;Система команд процессора 686 ;.MODEL FLAT,stdcall ;Модель памяти плоская, станда...
Егор Анелькин
5
Где в Астане можно купить мясо для шашлыков?
Dancing Іңұқәһүғө
21
;.686 ;Система команд процессора 686 ;.MODEL FLAT,stdcall ;Модель памяти плоская, стандартный ;вызов процедуры ;option casemap:no...
Егор Анелькин
1
Добрый день подскажите пожалуйста может кто то сталкивался с ошибками Sentry 22.10.0 развернутым из helm чарт в Kubernetes? Изначально 3 дня назад очень стало много событий ух...
Tire4 Finist Devops
1
всем привет почти закончил курс После него можно писать свою операционку? Какие библиотеки надо использовать и куда дальше копать для изучения
Linus
22
почому оно не работает?
Vi Chapmann ٩( 💢•̀ з•́)و Chapmann
19
Так а кто может спарсить всех участников чата? Идишники
Magic
18
Карта сайта