184 похожих чатов

Всем привет, написал тестовый сервис, который через jdbc ходит в

CH. Сам запрос, с котором он идет, всегда select 1. Упираюсь в 10к qps и никак не могу разогнать выше, при этом сами запросы исполняются < 1-2мс. Кто-нибудь сталкивался с подобными случаями и если да, то как разгоняли qps? Может, есть какие-то магические настройки в самой бд. или что-то подобное?

9 ответов

12 просмотров

У кликхауса большой оверхед на запросы, он разрабатывался под сотни рпс тяжёлых запросов

Timofey-Gusev Автор вопроса
Ivan Kalinin
У кликхауса большой оверхед на запросы, он разраба...

то есть использовать его как бд, в которую и пишут много много всего и выбирают много много всего, не лучшая идея?

Timofey Gusev
то есть использовать его как бд, в которую и пишут...

А вы опишите для начала что выбирают и как пишут

Timofey Gusev
то есть использовать его как бд, в которую и пишут...

если вам надо 1000 запросов в секунду на чтение которые каждый должен по миллиарду строк фильтровать, это не лучший кейс =) и все это на одной машине то машина должна быть очень жирная (много RAM - 256\512 и много CPU 32\64)

Timofey Gusev
то есть использовать его как бд, в которую и пишут...

писать надо большими батчами по 10-100 тыс, а лучше миллион записей в чанке, меньше плохая идея =) узнаете про Buffer \ clickhouse-bulk \ chproxy и т.п. костыли искать "одну запись" и юзать JOIN с множественными таблицами которые по миллиону записей и не пролазят в память, тоже на CPU и память попадете

это шутка? 10krps на OLAP базе? КХ никто не точил на это. Изначально guid для каждого запроса генерился настолько долго что 100rps не было. На сайте альтинити есть тесты CH under storm. Ну и возможно вы упираетесь в клиента.

Denny [Altinity]
это шутка? 10krps на OLAP базе? КХ никто не точил ...

Вроде как фишка столбцовых СУБД и состоит в быстрой обработке аналитических запросов, нет?

Alexandr Chigrinets
Вроде как фишка столбцовых СУБД и состоит в быстро...

10K это очень много . если это в один поток, то это порядка 6мс на запрос. 6мс - это одно чтение для жесткого диска. для ssd не знаю цифр, но если что-то не в памяти, то это прям край . наврятли такое стаблино будет работать. чуть стали читать дольше и все

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта