172 похожих чатов

Как настроить Кафку на чтение потока данных с Web API?

Система раз в 5с плюет данными по определенному адресу, хотим собирать их, парсить и перекладывать в БД, подскажите пожалуйста

4 ответов

8 просмотров

Написать продюсер который слушает данные с этого веб апи хука и кладёт в кафку, и консумер, который из Кафки берет и кладёт в БД. Можно ещё в сторону Кафка connect посмотреть.

Ruslan-Ganeev Автор вопроса
Sonhador
Написать продюсер который слушает данные с этого в...

Консюмер и продюсер строго на java написаны должны быть? Мб есть где примеры посмотреть, думаю я далеко не первый кто занялся таким

Ruslan Ganeev
Консюмер и продюсер строго на java написаны должны...

Нет, есть клиенты на go,python,... на Яве просто самый качественный клиент вроде. Примеры наверняка есть, я в основном по книжкам смотрел. Но в общих чертах продюсер просто написать, создаёшь топик, и дальше в этот топик пишешь ))) все. В архиве Кафки там есть простой консьюмер и продюсер в виде шел скриптов.

Ruslan-Ganeev Автор вопроса

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
База данных не поможет. Шифрование не поможет. Какие там ещё варианты? Накидывайте.
КТ315
20
А табстоп это сообщение от окна или от элемента управления?
The Bird of Hermes
18
А как лучше конвертировать физический адрес в виртуальный при маппинге? В случае ядра у меня, например, direct mapping, первые 768МБ я как есть мапплю в higher half, а остальн...
Evg Resh
26
Открыл свой двухкилобайтный экзешник в x32dbg, а тут какая-то хрень. Смущает кнопка "выполнить до пользовательского кода", а что ещё может быть в файле помимо него ?
НѣкъиⰘижєжєиꙁъвьсєсвѣтьноѣсѣтиѥсть•
11
Мне были интересны дишные хаки и я нашёл любопытный способ на форуме через __traits, что-то вроде int delegate(int) fac = (int n) => n == 0 ? 1 : n * __traits(parent, {})(n - ...
Constantin F.
1
Вопрос тем кто смотрит видео и слушает подкасты - как вы потом ищете нужную вам информацию? Вот статью я прочитал, потом могу искать нужную мне часть банальным поиском. Пропус...
Aleksandr Druzhinin
4
Всем привет, подскажите/посоветуйте пожалуйста. Фаердак компоненты, имею одно место где бизнес хочет видеть при открытии формы список всех клиентов, это порядка 30к. Мои дово...
Sasha Sch
14
Ребят, если кто в курсе - скажите, а в загранке такое же засилье маркетплейсов? или там простые сермяжные интернет-магазины живут попроще?
Андрей [aharito] Харитонов
14
Коллеги, доброе утро. Запустил на удаленном хосте приложение (ручками зашел туда по ssh и запустил, не командой удаленно). Создал потом ssh-туннель, и с моей машины приложение...
Δημήτηρ
9
Карта сайта