фильтрации событий в режиме реального времени? У нас для этого движок на Go, а в ClickHouse долговременное хранилище для аналитики и поиска. Была идея фильтры поиска применять на входящем потоке событий к которым SLA на срабатывание фильтра не дольше 1 секунды. Видел где-то дизайн что на узлах приёма событий идёт вставка в clickhouse-local in-memory table, а дальше по кафке отдельно срабатывания фильтров, отдельно батчи в native формате. Батчи складываются в таблицы для дальнейшей аналитики, а по фильтрам немедленные алерты.
а зачем тут in-memory table? В указанной архитектуре можно хоть в Null вставлять. Триггер вставки сработал - проанализировали блок и записали что надо - отдельно в кафка продюсер, отдельно в аналитику.
Спасибо! Попробуем
Обсуждают сегодня