1/0. При 1 импорт вставал колом (было много битых сообщений). То есть лаг на кафке просто увеличивался. В логах КХ ошибок не замечено. Установил в 10 (прсото нуль добавил). Лаг закончился. Кто может сказать как это вообще работает? Или это очередная бага KafkaEngine?
раньше этот параметр значил кол-во сломанных на кафка батч
- kafka_skip_broken_messages – максимальное количество некорректных сообщений в блоке. Если kafka_skip_broken_messages = N, то движок отбрасывает N сообщений Кафки, которые не получилось обработать. Одно сообщение в точности соответствует одной записи (строке). Значение по умолчанию – 0. M(SettingUInt64, kafka_skip_broken_messages, 0, "Skip at least this number of broken messages from Kafka topic per block") \
Обсуждают сегодня