проблема, что коннектор записывает данные в файлик только батчами по "flush.size": "500000". Т.е. я добавлял и "offset.flush.timeout.ms" и "offset.flush.interval.ms" и "partition.duration.ms", но пока не наберется 500к записей, ничего не запишется. Есть ли способ записывать файлы по времени, а не по кол-ву строк? (ну или что я делаю не так?)
rotate.interval.ms Вроде такой параметр
Есть ещё rotate.schedule.interval.ms Но я его не пробовал
Обсуждают сегодня