логов с возможностью отправлять данные в clickhouse?
Logstash и fluentd пробовал. Logstash - Java не мое, никак не могу с ним подружится, fluentd - не хватает производительности, а горизонтально маштабировать со старта - странно, так как должно хватать пока и одной ноды, но летит больше 15000 строк в секунду и это пока не все подотчетные сервисы. Смотрю в сторону mozilla heka, но надо будет писать output plugin для clickhouse (буду разбираться в go). Спасибо за любую помощь.
Я сейчас как раз ковыряю связку logstash -> kafka -> clickhouse у меня все потихоньку начинает оживать (вчера кластеризовал kafka и zookeeper, а сейчас застопорился на настройке шардирования и репликации в clickhouse), но, до сих пор считаю, что все взлетит.
Обсуждают сегодня