Система раз в 5с плюет данными по определенному адресу, хотим собирать их, парсить и перекладывать в БД, подскажите пожалуйста
Написать продюсер который слушает данные с этого веб апи хука и кладёт в кафку, и консумер, который из Кафки берет и кладёт в БД. Можно ещё в сторону Кафка connect посмотреть.
Консюмер и продюсер строго на java написаны должны быть? Мб есть где примеры посмотреть, думаю я далеко не первый кто занялся таким
Нет, есть клиенты на go,python,... на Яве просто самый качественный клиент вроде. Примеры наверняка есть, я в основном по книжкам смотрел. Но в общих чертах продюсер просто написать, создаёшь топик, и дальше в этот топик пишешь ))) все. В архиве Кафки там есть простой консьюмер и продюсер в виде шел скриптов.
Спасибо большое, буду тыкать
Обсуждают сегодня