Привет! У меня опять вопрос по debezium, kafka, oracle делаю cdc из

оракла в постгрес
есть проблема с клобами: если изменить в строке значения не клоба, а любого другого атрибута, то как я понимаю в редо логи оракла значение клоба не пишется, и поэтому дебезиум подставляет __debezium_unavailable_value и это дело потом синком несется в таргет базу.
собственно как можно решить это дело? кроме триггера на таргете :)

гугл показывает обходной вариант с логирование для постгреса
https://debezium.io/blog/2019/10/08/handling-unchanged-postgres-toast-values/
но он для постгреса и выглядит дорогим в смысле нагрузки на базу.

6 ответов

16 просмотров

привет! есть вот такая настройка: https://debezium.io/documentation/reference/2.1/connectors/oracle.html#oracle-property-lob-enabled

Валерия-Капишевская Автор вопроса
Андрей Романов
привет! есть вот такая настройка: https://debeziu...

у меня она включена то есть просто загрузка новой строки с лобом работает не работает изменение атрибута, который не лоб. Дебез для лоба тогда ставит дефолтное значение __debezium_unavailable_value, вместо того чтобы просто не трогать его

Валерия Капишевская
у меня она включена то есть просто загрузка новой ...

ого, блен, а вот такого у меня не было( тут помочь не могу, сорри(

Валерия Капишевская
у меня она включена то есть просто загрузка новой ...

А чем вы читаете дебезиум лог и почему там не поменять логику? Вроде выглядит не очень сложно

Валерия-Капишевская Автор вопроса

не поняла вопрос оракл читаю логмайнером через дебезиум, он складывает в топики сообщения с изменением строк. И уже в этих сообщениях появляется __debezium_unavailable_value. потом kafka jdbc sink коннектор грузит изменения в постгрес. в сообщениях уже стоит __debezium_unavailable_value, поэтому в постгрес он их и грузит.

Валерия Капишевская
не поняла вопрос оракл читаю логмайнером через деб...

Ответом на вопрос является kafka jdbc sink connector) понятно) просто я сам писал синк и там несложно заложить какую хочешь логику, на входе же простой жсон/авро) Наверное стоит копать в сторону коннектора)

Похожие вопросы

Обсуждают сегодня

Доброе утро, а кто то делал Google аналитику через php ? curl_setopt($ch, CURLOPT_NOSIGNAL, true); Это должно быть async без ожидания ответа. Вообще php нормально с таким с...
Max Dubovsky
6
Привет, коллеги! Возникла задача ограничить максимальный размер вложений для определённых расширений, например, чтобы для изображений лимит был 10 МБ, а для видео — 100 МБ. Ог...
Andro
1
Всем здравствуйте, Я использую LibUsbDotNet, пытаясь написать библиотека (под linux/Mac OS) для взаимодействия с usb-устройством, который отправляет текст на дисплей покупат...
Асылбек Анарбай
2
Народ, есть у кого идеи или примеры как привязать softDelete трейт к модели файла или были случаи пропажи фоток? На проекте рандомным образом, со слов клиента, пропали фотки у...
XAKFULL XAKEROVICH
3
Это переведённый текст с английского. Я не говорю на русском, но могу использовать переводчик Телеграм. Приветствую! Я начинающий веб-разработчик и все еще учусь. В настояще...
𐩱𐩪𐩣𐩱𐩲𐩺𐩡
3
Ребята, всем привет. Подскажите, пожалуйста, можно ли как-то через бота понять, что этого бота добавили в группу\канал и выдали ему права администратора?
Artem Stormageddon
9
А не хотим ли мы развлечься? 😉 Но так чтобы с пользой для наших профессиональных навыков?? 👨‍🎓👩‍🎓 Предлагаю на октябрь запланировать тестовый запуск новой командной игры "Игр...
Andrii Kurdiumov
2
Парни, в 3 версии октября кто сталкивался с тем что System\Models\SettingModel не сохраняет данные настроек в админке?
Эд
5
или как тут карму плюсануть?
XAKFULL XAKEROVICH
3
ребят, кто использовал telegraph для создания ботов? если ли там функция отложенного постинга как в самом тг? то есть просто запланировать сообщение вместо его отправки
Dororo Steeeve
1
Карта сайта