Если сделать select из Kafka engine, показывает только новые сообщения.
Если после завешения запроса напродюсить сообщений - вычитает их при следующем селекте.
BTW, @milovidov_an, можно ли предусмотреть вычитывание данных из топика при указании новой consumer group с первых, а не с новых, как сейчас ?
Пробовал после завершения запроса продьюсить новые сообщения, CH их не видит. Попробую с утра, на свежую голову, заново собрать связку.
Я уже не помню, как устроен движок Kafka. Если я правильно помню, offset сохраняется в Kafka и сдвигается после чтения. Чтобы читать с начала, надо его сбросить?
Можно, нужно в конфиге указать настройку auto.offset.reset, там есть недокументированная возможность как задавать настройки https://github.com/yandex/ClickHouse/blob/master/dbms/src/Storages/StorageKafka.cpp#L201 т.е. примерно так: <kafka> <key>value</key> <!-- точки в ключе заменять на _ (auto_offset_reset)--> </kafka>
Обсуждают сегодня