Господа! Подскажите пожалуйста чем можно померять ingestion в Clickhouse? Попробовал бенчмарк от

Question

Господа! Подскажите пожалуйста чем можно померять ingestion в Clickhouse? Попробовал бенчмарк от

Timescale https://questdb.io/blog/2021/05/10/questdb-release-6-0-tsbs-benchmark/#adding-questdb-support-to-the-time-series-benchmark-suite

но почему-то мне бенчмарк вначале загрузил сервер сильно по I/O
а потом выдал это

time tsbs_load_clickhouse --file /tmp/bigcpu --workers 4 && curl "https://api.telegram.org/bot503970099:503970099:AAFaajHl8i-Rmtgla8HRmDDpsZS8Idos-Jk/sendMessage?chat_id=88111010&text=tsbs_load_clickhouse test ended on $HOSTNAME " > /dev/null 2>&1
Killed

real 5m21.939s
user 0m41.687s
sys 0m33.136s

При этом questdb и victoriametrics нормально отработали с файлом.
Посоветовали люди обратится к @denny_crane и @unamedrus

#backend #clickhouse #database #devops #programming #russian

0

28.05.2021

6 ответов

23 просмотра

Terry Filch Автор вопроса

Dmitry [Altinity] Titov
Там поддержку кх для tsbs пилил товарищ который де...

а чем бы лучше померять ingestion если не этим бенчмарком?

0

28.05.2021

Dmitry [Altinity] Titov

Terry Filch
а чем бы лучше померять ingestion если не этим бен...

>а чем бы лучше померять ingestion если не этим бенчмарком? Там проблема в том, как го драйвер обрабатывает и вставляет строки. Я после этой статьи попробовал превратить его в plain CSV и вставлять таким образом. Через clickhouse-client там вроде 1-2 млн в секунду выходило, а через голенг драйвер примерно как у них в тестах

0

28.05.2021

Terry Filch Автор вопроса

Dmitry [Altinity] Titov
>а чем бы лучше померять ingestion если не этим бе...

а где-то это вы описывали, что бы почитать?

0

28.05.2021

Dmitry [Altinity] Titov

Terry Filch
а где-то это вы описывали, что бы почитать?

Да, это нигде не описывал, но могу сделать репу в гитхабе думаю

0

28.05.2021