А вот подскажите по такому моменту. у меня кафка одним

Question

А вот подскажите по такому моменту. у меня кафка одним

инстансом работает, из кх матвью подключен, при небольших объемах данных – все норм.

с флушем по таймеру понятно – оно не работает пока.
но вот тут еще какая ситуация – я делаю микро-нагрузочное тестирование и отсылаю данные рейтом 200 rps на протяжении 5 минут.
в этот момент вижу по логам кх, что он просто перестает обновлять матвью, нету запросов к кафке.
2018.11.10 17:30:12.549668 [ 21 ] {} <Debug> StorageKafka (myKafka): Started streaming to 1 attached views
спустя пять минут
2018.11.10 17:35:14.552367 [ 34 ] {} <Debug> StorageKafka (myKafka): Started streaming to 1 attached views

это сама кафка ему не дает подключаться в момент нагрузки или что происходит вообще?

#backend #clickhouse #database #devops #programming #russian

0

10.11.2018

2 ответов

21 просмотр

🦄 · Answer 1

как думаете, это как-то можно поковырять глубже? хочу понять в ком проблема – в кх или в кафке. консольный кафка клиент отдает норм, кх ходить не хочет, просто не делает Started streaming to 1 attached views в период "высокой" нагрузки. ну она реально не высокая, ресурсы на машинах свободны.

🦄 · Answer 2

🦄 Автор вопроса

в общем, решилось все только после пересоздания консумера из кафки и матвью. остальные все действия – ребуты кх, зукипера и кафки, аттачи/детачи, не принесли результата.

0

11.11.2018

184 похожих чатов

А вот подскажите по такому моменту. у меня кафка одним

2 ответов

Похожие вопросы