Всем добрый вечер. Подскажите кто знает, в kafka-connect как-то можно

Question

Всем добрый вечер. Подскажите кто знает, в kafka-connect как-то можно

задать создание коннектора с mode: increment, что бы он начинал с последнего офсета на момент своего создания? По аналогии с mode: timestamp = -1? Или только явно задавать ему значение?

#kafka #russian #software

0

30.12.2020

10 ответов

11 просмотров

Peter Fitenko Автор вопроса

Ihar Tigar
возможно не до конца понял, но auto.offset.reset=l...

Это, вроде, для синка, или я ошибаюсь? Мне такое для сорс коннектора нужно провернуть

0

30.12.2020

Anton

Peter Fitenko
Это, вроде, для синка, или я ошибаюсь? Мне такое д...

Jdbc или cdc?

0

30.12.2020

Peter Fitenko Автор вопроса

Anton
Jdbc или cdc?

jdbc

0

30.12.2020

Anton

Peter Fitenko
jdbc

Т.е. нужно чтобы не заливался снэпшот таблицы а просто сразу инкремент читался?

0

30.12.2020

Peter Fitenko Автор вопроса

Anton
Т.е. нужно чтобы не заливался снэпшот таблицы а пр...

Да, именно, начинал переливать в кафку все то, что появится в базе ПОСЛЕ создания коннектора

0

30.12.2020

Anton

Peter Fitenko
Да, именно, начинал переливать в кафку все то, что...

А что если в connect-offsets вставить соответвующий коннектору ключ чтобы он подумал что запускается уже не впервые? Время следующего инкремента он вычислит по timestamp

0

30.12.2020

Peter Fitenko Автор вопроса

Anton
А что если в connect-offsets вставить соответвующи...

В таблице нет поля таймстемпов, поэтому могу использовать только поля офсетов (они как-раз есть)

0

30.12.2020

Anton

Peter Fitenko
В таблице нет поля таймстемпов, поэтому могу испол...

А почему нельзя просто написать ограничение в sql запросе которое отсечет имеющиеся данные по оффсету?

0

30.12.2020