Ребят, подскажите пожалуйста первый раз работаю с кафкой. Задача отправлять в

нее элементы pandas df, в avro формате

Вопросы:
1) если честно по запросам "pandas df to kafka" нахожу только спарковский df. вообще пандасовские фреймы можно отправлять?
2) в какой момент строка преобразуется в авро? Мне для этого нужно самому отдельную функцию писать, или оно под капотом?
Просто видел примеры, когда в кафку отправляют строки из csv, и никаких функций преобразований в авро сообщение я не заметил (хотя может плохо искал)

Спасибо!

В кафке все данные представлены массивом байт, поэтому надо думать как представить ваши данные в сериализованном виде, а авро это примерно как типизированный бинарный json

Спасибо! Пока кроме итерирования по строкам фрейма, создания из каждой строки авро строки, ну и видимо, последующего перевода в байты ничего не приходит в голову. Я в эту сторону думаю, или глупость?)

Предположу что в чат единицы знают что такое пандас дф, может есть примеры?

Pandas.DataFrame Объект из питоновской библиотеки для работы с данными. По сути это таблица. Думаю, питонисты все знают его

Это датафреймы питоновские, двумерные массивы. Отправил в личку статью по Avro и Python

Ну вот сериализуете по статье и кладёте сообщение в кафку 👍

привет. Мне кажется можешь использовать ETL инструмент Apache NiFi Датафрейм преобразовать в джсон и кидать в NiFi У найфая есть конвертеры встроенные, джсон в Авро, и есть встроенный процессор паблишТуКафка. Ну это так, из вариантов)