Коллеги, помогите с проблемой разобраться. Раскатали коннектор(jdbc-source), статус Running, но

топик не создался сразу, а спустя время (минут 15-20), куда влил сразу все записи (около 1.5 млн/5гигабайт). Почему такое поведение? В доке ничего не вижу. Креды все ок, права у пользака в базе есть, запрос отрабатывает, место на диске есть.

автосоздание топиков вообще использовать нельзя

Это топики коннекторов, да и вопрос в другом

Если очень много коннекторов на кластере, возможен их ребаланс при добавлении нового, вследствие чего запуск может происходить не сразу Надо смотреть, какая у вас нагрузка на кластере Kafka Connect (надеюсь, у вас кластер)

когда сам сталкивался с этим , решал тем, что добавляли коннектор в регламетное время, когда нагрузка была минимальной

А он там, случаем, не вычитывал эти 5Гб в течение всех этих 15-20 минут?

я предполагаю, что вычитывал но ожидаемое поведение: сразу создал топик и туда батчами наливка идет а тут он в статусе Running, топика нет, потом спустя 20 мин появляется топик сразу со всеми записями, оч странно

создавай топик в коде, а не "автоматом", и будет именно так как говоришь

то есть ты предполагаешь, что если топик был бы уже создан заранее (у нас есть пайплайны для раскатки из конфига топика), то коннектор сразу бы стал пушить порциями?

да

спасибо, попробую проверить эту гипотезу

только выставляй в топике zstd и на продюсере

В коннекторе есть настройки для создания топиков, чтобы он их явно создавал перед запуском

так я их и юзаю при большом объеме данных топик появляется не сразу, а с огромной задержкой, но со всеми сообщениями

Интересно, тогда действительно похоже на ребаланс. Можно ещё дебаг логи включить и посмотреть что он делает. От kafka-clients довольно подробные логи обо всём идут