Друзья, всем привет. А имеется у кого ни будь опыт

Question

Друзья, всем привет. А имеется у кого ни будь опыт

реализации выгрузок с бд, причем записей очень много и предполагается в начале передавать в kafk-у по очереди записи с бд, а затем вычитывать и генерировать xml ?

#kafka #russian #software

0

12.11.2020

10 ответов

9 просмотров

Alexandr Korotkov Автор вопроса

дубль 2

0

12.11.2020

D.P.

Alexandr Korotkov
дубль 2

Через confluent пробовал? Можно настроить коннект к базе и перелить данные стандартными скриптами. За примерами сюда https://docs.confluent.io/current/connect/kafka-connect-jdbc/index.html

0

12.11.2020

Alexandr Korotkov Автор вопроса

D.P.
Через confluent пробовал? Можно настроить коннект ...

спс большое, с воскресения почитываю эти статьи, оч интересно

0

12.11.2020

Vik Gamov

Kafka connect решает ситуации с выгрузкой откуда угодно куда угодно

0

12.11.2020

Alexandr Korotkov Автор вопроса

Vik Gamov
Kafka connect решает ситуации с выгрузкой откуда у...

Супер. А как поток с кафки делить на части и эти части отдельно в асинхронном режиме превращать в xml имеется опыт? Есть необходимость именно делить на чанки поток. Что то наподобие как Camel concurentProducer-ов делает

0

12.11.2020

Vik Gamov

Alexandr Korotkov
Супер. А как поток с кафки делить на части и эти ч...

Сначала выгружаешь в кафку с помощью connect, потом процессинг делаешь на стримах (ибо Java, и там все хорошо с XML). Либо свой конвертер который может в XML (из коробки json и avro только, есть ещё protobuf)

0

12.11.2020

Alexandr Korotkov Автор вопроса

Vik Gamov
Сначала выгружаешь в кафку с помощью connect, пото...

спс, Java StreamApi имеешь ввиду, или KafkaStreams ?

0

12.11.2020

Vik Gamov

Alexandr Korotkov
спс, Java StreamApi имеешь ввиду, или KafkaStreams...

Kafka Streams, если тебе надо трансформацию делать и писать обратно. вкафку

0

12.11.2020