В чате это неоднократно в разном контексте обcуждалось, но все

Question

В чате это неоднократно в разном контексте обcуждалось, но все

же, насколько надежно использовать kafka как source of truth для других хранилищ? Сейчас из кафки запись идет в кассандру и эластик, есть варик отказаться от кассандры, навечно писать данные в кафку чтобы в случае чего делать наполнение эластика. Какова вероятность потери данных в кафке, нужно ли ее дополнительно бэкапить?

#kafka #russian #software

0

04.10.2018

2 ответов

12 просмотров

Ivan Rasikhin

это называется kappa архитектура

0

04.10.2018

ph1lm · Accepted Answer

Это философский вопрос :) Мы написали свой бэкап, потому что трудно было убедить заказчика, что он не нужен по сути. Если вы можете настроить кафку на durability, а не на throughput, то я бы сказал, что бэкап не нужен, так как по сути built-in replication механизм сделает это за вас. Если нет, то синхронно бэкапить кафку, где несколько топиков семантически связаны, сложно, также как и синхронно бэкапить несколько хранилищ, которые с этих топиков заполняются. Вообщем проблему консистентности придётся решать.

52 похожих чатов

В чате это неоднократно в разном контексте обcуждалось, но все

2 ответов

Похожие вопросы