опыт работы с кафкой как единым источником истины, предложил избавиться от центрального DWH, вместо этого выстроив данные в кафка.
но вот для проектирования хранилища есть методологии, по типу data-vault или inmon.
выглядит так, что с кафка оно не сильно меняется, но всё таки с ходу в явном виде формализовать подход для коллег не получается.
есть ли у кого на примере какие книги-статьи на тему?
нормальный single source of truth - это то, куда ты приходишь и забираешь сущность в её нужном состоянии, а не собираешь её по кускам из событий формально-то конечно это остается ssot, но вот боли ненужной сколько хочешь.
Почитайте про Kappa-архитектуру. Оригинальная статья от Jay Kreps (одного из создателей Kafka).
Обсуждают сегодня