Всем привет! вопросы по kafka-connect. Возможно ли для source коннектора

ограничить, сколько сообщений он может вычитать и отрпавить за раз? batch.max.rows=10 не работает - пытается вычитывать все данные из таблицы. Так же никак не влияют на интервалы вычитки параметры connection.backoff.ms=600000
table.poll.interval.ms=600000 poll.interval.ms=30000

7 ответов

7 просмотров

Это нужно тюнить параметрами jdbc драйвера (включается режим курсора)

Василий-Калугин Автор вопроса
Юра Ходырев
Это нужно тюнить параметрами jdbc драйвера (включа...

По аналогии с mysql пробовал делать, но пока не очень получается

Василий Калугин
По аналогии с mysql пробовал делать, но пока не оч...

Там у каждого драйвер свой набор параметров, они не унифицированы

а что за коннектор у вас?

Василий-Калугин Автор вопроса
Oleksandr Ryzhenko
а что за коннектор у вас?

Да самый обычный jdbc source к таблице в оракловой базе

Василий Калугин
Да самый обычный jdbc source к таблице в оракловой...

да, в jdbc таких настроек нет. В Debezium Oracle source connector более гибкая настройка параметров. Так можно регулировать. Но это если есть возможность перейти на него

Василий-Калугин Автор вопроса
Oleksandr Ryzhenko
да, в jdbc таких настроек нет. В Debezium Oracle s...

Теоретически есть, но ради одной таблицы не хочется

Похожие вопросы

Обсуждают сегодня

Привет, сталкивался кто с такой ситуацией? У меня есть модальное окно Bootstrap, в нем кнопка закрытия: <button type="button" class="btn-close" data-bs-dismiss="modal" aria-...
Виталий
3
А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
что это и почему оно? executor.start_polling(bot, skip_updates=True, on_startup=on_startup, File "/usr/local/lib/python3.10/dist-packages/aiogram/utils/executor.py", line 4...
𐌍𐌄 ᕓ𐌄𐌓𐌌Ꝋ𐌓𐌄
2
Напомните пожалуйста, v1.1 работает на PHP 8.2?
Ross
7
А что насчет FluentValidation? тоже ведь есть альтернатива у МС.
devman
13
Ребят, всем привет) Кто юзал/юзает Postgres? Я на MySQL сделал простенький сайт для диплома, но я внезапно обнаружил условие что надо было на Postgres) Проблема в том, что я н...
Dororo Steeeve
4
Читаю сейчас [нет, уже больше не читаю!] курсовую о Булгакове, написанную, похоже, с помощью ChatGPT. Это удивительный психоделический опыт. Текст в основном написан в стиле б...
✨ Uni [🌊 В отпуске]
1
Спасибо. Начну с клиент-сервер. Там разберусь И еще вопрос - можно ли как то джобы отправлять на определенные клиенты? Например есть vdi и linux машина. Можно ли задачу оправ...
Sergey Ivanov
4
Вернее клади после элемента триггера. И почему А вместо button?
Max Yurasov
1
Всем привет! подскажите, кто-то использовал vault + гео-распределенный etcd-кластер (мемберы в разных цодах)? какие есть подводные камни? и стоит ли вообще такое делать?
Василиса Васильева
4
Карта сайта