источника данных. Поделитесь опытом, пожалуйста.
1. Какие объёмы данных вы вычитываете таким образом?
У меня есть несколько десятков топиков по 100000 записей в секунду (в районе 27мб пачка) каждый, сейчас они пишутся в КХ приложением. Движок с MV будет успевать их вычитывать?
2. Если потребуется наращивать скорость, то как оно масштабируется?
Где-то в чате писали, что до 300к спокойно может вычитывать. По масштабированию консьюмеры прийдётся докидать, но опять же это всё равно имеет какой-то предел
До 300к один kafka-engine?
https://altinity.com/blog/clickhouse-kafka-engine-faq
С логами очень внимательно, не успеешь оглянуться, а у тебя уже места на диске нет. Дропай их по TTL
принял спасибо ))
Обсуждают сегодня