при попытке вычитать из кафки через kafkaEngine?
<Error> StorageKafka (test_stream): [rdk:ERROR] [thrd:app]: ClickHouse-rs1.sh1.server.test_streams-test_stream#consumer-212: 10.14.0.52:19092/2: Disconnected while requesting ApiVersion: might be caused by incorrect security.protocol configuration (connecting to a SSL listener?) or broker version is < 0.10 (see api.version.request) (after 228ms in state APIVERSION_QUERY)
1. вообще не работает. настраиваю впервые 2. вчера работало , сегодня сломалось 3. то работает, то не работает 4. работает, но вижу подозрительные ошибки в логе.
Работало нормально с кафкой на 1 ноде (1 брокер). После переезда на кластер кафки (3 брокера) стали появляться такие вот ошибки. Всего порядка 120 топиков. Ошибки есть, но работает (хотя лаг вырос по сравнению с _до переезда_). А вот сейчас создал еще один новый топик - совсем не читает его
120 топиков????? у вас типа 120 kafka engine? или что?
да, размазано по 4 нодам кликхауса
SELECT name, value FROM system.settings WHERE name IN ('background_schedule_pool_size', 'background_message_broker_schedule_pool_size')
background_schedule_pool_size,64 background_message_broker_schedule_pool_size,16 на каждой из 4х нод
делайте 128 64 перезагрузка КХ обязательна
Работало нормально с кафкой на 1 ноде (1 брокер). После переезда на кластер кафки (3 брокера) стали появляться такие вот ошибки. Всего порядка 120 топиков. Ошибки есть, но работает (хотя лаг вырос по сравнению с _до переезда_). А вот сейчас создал еще один новый топик - совсем не читает его это существенная информация, в следущий раз когда задаете вопрос пишите сразу, иначе невозможно ничего понять
да, впредь буду более подробно описывать. Спасибо
Обсуждают сегодня