Всем привет! Интересует вопрос: 1. Возможно ли пользователю как -

Question

ClickHouse не тормозит

Zakhar Leshnevsky

Всем привет! Интересует вопрос: 1. Возможно ли пользователю как -

то смещать offset в Kafka Engine? (Или остаётся идти в config?)
2. Если возможно, то как?

#backend #clickhouse #database #devops #programming #russian

0

07.09.2022

5 ответов

16 просмотров

Alexey Petrunyaka

Невозможно, и в конфиге нельзя, т.к. librdkafka в конфиге это не поддерживает. Докуда дочитала группа, оттуда и стартует чтение.

0

07.09.2022

Denny [Altinity]

Alexey Petrunyaka
Невозможно, и в конфиге нельзя, т.к. librdkafka в ...

ну в начало топика можно переставить оффсет и в librdkafka и в КХ <kafka> <auto_offset_reset>earliest</auto_offset_reset>, самой кафкой конечно это сделать проще

0

07.09.2022

Alexey Petrunyaka

Denny [Altinity]
ну в начало топика можно переставить оффсет и в li...

Это в любом случае не произвольный офсет на каждую партицию.

0

07.09.2022

Alexey Petrunyaka

Alexey Petrunyaka
Это в любом случае не произвольный офсет на каждую...

У нас тут актуальной стала задача запускать расчёт в КХ, когда в него доехала присланная пачка данных. Сценарий: в 1 топике uuid пачки и её размер, в 2 топике сами пачки данных. Чтобы не поллить КХ постоянно, пишем в него офсеты из Кафки, и параллельно у нас бежит сервис, который эти же топики читает, высчитывает конечные офсеты пачек, сравнивает с теми, что уже записались в КХ, и запускает в КХ расчёт по пачке, которая уже доехала.

0

07.09.2022

Konstantin Ilchenko · Accepted Answer

Konstantin Ilchenko

Через КХ не может, только через саму кафку kafka-consumer-groups --bootstrap-server <kafkahost:port> --group <group_id> --topic <topic_name> --reset-offsets --to-earliest --execute

0

07.09.2022

184 похожих чатов

Всем привет! Интересует вопрос: 1. Возможно ли пользователю как -

5 ответов

Похожие вопросы