которые обновились и лить их в хадуп
Да, во втором приложении пишешь про мониторинг - хотим партиции которые обновились - это мониторинг))). А не проще при изменении данных отправлять через шину(кафку, раббит) сообщение и лить сразу и в базу и в хадуп? Т.к. проблема в Вашем решении - поменялась 1 запись в партиции - залейте мно ее полностью с нуля
В твоем варианте появляется Кубернетис + Кафка То есть отказоустойчивость ухудшается
Откуда ты взял кубер? И почему именно кафка, а не к примеру файл шаринг(гусары молчать)?))
1)https://youtu.be/YbX8zGa5N50?si=mAi_9o6rgQfUR-Ik 2) Я писал выше что у нас высокая транзакционность То есть по сети будут проблемы + большой трафик с одного ресурса + с Кафки и другие пользователи в случае чего смогут читать Тут еще много других плюсов на самом деле
1) Это не ответ на вопрос откуда взялся кубер? 2) Если полностью пересылать партицию - трафика будет еще больше.
Обсуждают сегодня