принципе может работать с большим количеством простых запросов
У меня такой кейс
Кубер 20 подов, каждый из которых параллельно обрабатывает 50 задач, в которой происходят запросы в клик
Задача перебрать 60 млн строк из одной таблицы, для каждой строки дополнительные запросы из других таблиц клика и вставлять 60 млн дополненных строк в другую таблицу клика
Со вставкой проблем нет
Проблема в том, что такая конфигурация упирается во что-то и запросы, которые выполняются за 50-150мс выполняются за 1-1,5с, иногда запросы ловят таймаут и иногда клик сам дропает запросы
В связи с вводными такой вопрос. Как заставить клик обрабатывать много маленьких запросов параллельно, чтобы он не захлебывался?
Клик работает с таким железом: 8 ядерный проц, 32гб оперативы и ssd
Я не сильно в курсе, наш програмер на кролика жаловался, есть там где-то затык
Попробуй создать буферную таблицу и вставлять в неё https://clickhouse.com/docs/en/engines/table-engines/special/buffer/
А вот фиг там, именно работа с параллельной обработкой очередей
>Как заставить клик обрабатывать много маленьких запросов параллельно мухаха, как заставить карьерный экскаватор делать маленькие ямки быстро посмотрите на зукипер, скорее у вас зукипер упирается в диски
Обсуждают сегодня