Подскажите пожалуйста: по графикам в графане количество запросов в сек

Question

Подскажите пожалуйста: по графикам в графане количество запросов в сек

= 3К, rate от метрики ClickHouseProfileEvents_InsertedRows показывает 1,5К
По количеству данных вроде все норм
Это так и должно быть?

#backend #clickhouse #database #devops #programming #russian

0

13.10.2020

14 ответов

8 просмотров

Vik Kin Автор вопроса

Denny [Altinity]
вы по одной строке что-ли вставляете? Какая связь ...

вставляет Engine=Kafka через MV

0

13.10.2020

Vik Kin Автор вопроса

Denny [Altinity]
вы по одной строке что-ли вставляете? Какая связь ...

Метрика ClickHouseProfileEvents_InsertedRows оч странная: взял разницу за минуту этой метрики и разницу count по всем таблицам за минуту - метрика показывает в полтора раза ниже значение, чем реальное количество вставленных строк

0

14.10.2020

Denny [Altinity]

Vik Kin
Метрика ClickHouseProfileEvents_InsertedRows оч ст...

Проблема в том что вы рассказываете что там где-то что-то неправильно, в каком-то дашборде. В КХ InsertedRows считается скорее всего правильно, а дашборд показывает какой-то рейт, за какое-то время. Вы посмотрите select value from events where event='InsertedRows'; подождите 60 сек и снова select value from events where event='InsertedRows';

0

14.10.2020

Vik Kin Автор вопроса

Denny [Altinity]
Проблема в том что вы рассказываете что там где-то...

Проделал это на двух репликах: на одной разница InsertedRows больше в 1.3 раза, чем разница count, на другой меньше в 1.3 раза. Изначально было 3 реплики, на каждой по 3 таблицы (Engine=Kafka, Engine=ReplicatedMergeTree, MV), и разница InsertedRows за минуту на всех репликах была примерно одинаковой. Сейчас одну реплику убрали: на одной разница InsertedRows за минуту не изменилась, на второй выросла вдвое. Как реплики влияют на InsertedRows? Нужно ли эту метрику складывать группируя по репликам?

0

14.10.2020

Denny [Altinity]

Vik Kin
Проделал это на двух репликах: на одной разница In...

ну логично надо складывать, у вас инсерты делают все реплики, строки приезжают через репликацию.

0

14.10.2020

Vik Kin Автор вопроса

Denny [Altinity]
ну логично надо складывать, у вас инсерты делают в...

то есть сложить и поделить на количество реплик? чтобы сравнялось с разницей count?

0

14.10.2020

Denny [Altinity]

Vik Kin
то есть сложить и поделить на количество реплик? ч...

я не понимаю зачем. Эта метрика отражает кол-во строк вставленных insert-м , она никак не отражает реальное кол-во строк в таблицах. Зачем что-то складывать? Зачем сравнивать?

0

14.10.2020

Vik Kin Автор вопроса

Denny [Altinity]
я не понимаю зачем. Эта метрика отражает кол-во ст...

Ну если мы возьмем пустую таблицу, выполним инсерт со 100 строками, то метрика покажет 100 вставленных строк и каунт будет 100 строк, разве не так?

0

14.10.2020

Denny [Altinity]

Vik Kin
Ну если мы возьмем пустую таблицу, выполним инсерт...

нет, не так. Таблица может быть с движком summingMT и там будет 1 строка. плюс я подозреваю что дедупликация инсертов вообще учитывается, поэтому тоже будет неверно

0

14.10.2020

Vik Kin Автор вопроса

Denny [Altinity]
нет, не так. Таблица может быть с движком summingM...

хорошо, берем движок mergetree и гарантированно уникальные данные, тогда будет совпадение?

0

14.10.2020

Denny [Altinity]

Vik Kin
хорошо, берем движок mergetree и гарантированно ун...

ну будет конечно, но так как есть вставка в служебные таблицы в system, то не будет

0

14.10.2020

Vik Kin Автор вопроса

Denny [Altinity]
ну будет конечно, но так как есть вставка в служеб...

а много там вставки в служебные таблицы?

0

14.10.2020

Slach [altinity]

а вы как ее снимаете? в смысле в system.events там текущее значение counter должно быть rate в prometheus считается довольно криво, попробуйте поменять на irate и сравнить

0

15.10.2020

Denny [Altinity] · Accepted Answer

Denny [Altinity]

вы по одной строке что-ли вставляете? Какая связь вообще между этими метриками?

0

13.10.2020

184 похожих чатов

Подскажите пожалуйста: по графикам в графане количество запросов в сек

14 ответов

Похожие вопросы