184 похожих чатов

Всем привет, написал тестовый сервис, который через jdbc ходит в

CH. Сам запрос, с котором он идет, всегда select 1. Упираюсь в 10к qps и никак не могу разогнать выше, при этом сами запросы исполняются < 1-2мс. Кто-нибудь сталкивался с подобными случаями и если да, то как разгоняли qps? Может, есть какие-то магические настройки в самой бд. или что-то подобное?

9 ответов

7 просмотров

У кликхауса большой оверхед на запросы, он разрабатывался под сотни рпс тяжёлых запросов

Timofey-Gusev Автор вопроса
Ivan Kalinin
У кликхауса большой оверхед на запросы, он разраба...

то есть использовать его как бд, в которую и пишут много много всего и выбирают много много всего, не лучшая идея?

Timofey Gusev
то есть использовать его как бд, в которую и пишут...

А вы опишите для начала что выбирают и как пишут

Timofey Gusev
то есть использовать его как бд, в которую и пишут...

если вам надо 1000 запросов в секунду на чтение которые каждый должен по миллиарду строк фильтровать, это не лучший кейс =) и все это на одной машине то машина должна быть очень жирная (много RAM - 256\512 и много CPU 32\64)

Timofey Gusev
то есть использовать его как бд, в которую и пишут...

писать надо большими батчами по 10-100 тыс, а лучше миллион записей в чанке, меньше плохая идея =) узнаете про Buffer \ clickhouse-bulk \ chproxy и т.п. костыли искать "одну запись" и юзать JOIN с множественными таблицами которые по миллиону записей и не пролазят в память, тоже на CPU и память попадете

это шутка? 10krps на OLAP базе? КХ никто не точил на это. Изначально guid для каждого запроса генерился настолько долго что 100rps не было. На сайте альтинити есть тесты CH under storm. Ну и возможно вы упираетесь в клиента.

Denny [Altinity]
это шутка? 10krps на OLAP базе? КХ никто не точил ...

Вроде как фишка столбцовых СУБД и состоит в быстрой обработке аналитических запросов, нет?

Alexandr Chigrinets
Вроде как фишка столбцовых СУБД и состоит в быстро...

10K это очень много . если это в один поток, то это порядка 6мс на запрос. 6мс - это одно чтение для жесткого диска. для ssd не знаю цифр, но если что-то не в памяти, то это прям край . наврятли такое стаблино будет работать. чуть стали читать дольше и все

Похожие вопросы

Обсуждают сегодня

Какой-то там пердун в 90-х решил, что есть какая-то разная типизация. Кого вообще это волнует?
КТ315
49
void terminal_scroll() { memmove(terminal_buffer, terminal_buffer + VGA_WIDTH, buffer_size - VGA_WIDTH); memset(terminal_buffer + buffer_size - VGA_WIDTH, 0, VGA_WIDTH); ...
Егор
47
Всем привет! Подскажите, пожалуйста, в чем ошибка? Настраиваю подключение к MySQL. Либы лежат рядом с exe. Все как по "учебнику"
Евгений
16
А можете как-то проверить меня по знаниям по ассемблеру?
A A
132
Здравствуйте! У меня появилась возможность купить книгу "Изучай Haskell во имя добра!". Но я где-то слышал, что эта книга устарела. Насколько это правда??
E
22
Здравствуйте! Я вот на stepic решаю задачи на хаскеле https://stepik.org/lesson/8443/step/8?unit=1578 мой код import Data.List (isInfixOf) removing :: String -> [String] ->...
E
10
Камрады, кто тесно работал с vtv, хотел уточнить. Ширина column задаётся жёстко на этапе создания дерева или можно в рантайме ее менять программно (не мышкой)?
Ed Doc
10
да ладно ... что там неочевидного ? глянуть в исх-ки датасета и/или кверика чтобы понять в каком месте и как выполняется обращения к св-вам blablaSQL - минутное дело, даже е...
Сергей
7
Здесь для arm кто-нибудь кодит ?
Nothing
52
Всем привет, у меня есть сервер принимающий входящие HTTP подключения, как проверить, что подключение было через прокси или нет, есть какие то поля в заголовках по которым мо...
DS
8
Карта сайта