Всем привет! Наверно буду сотым вопрошающим, но может у кого

то есть бест практис по сайзингу Kafka?

что такое сайзинг

это что-то про June Pride ?

бест практис по глобальной производительности - провести свое НТ со сценариями под свои потребности в конфиге и не забываем требуемый уровень надежности при публикациях (уровень ack, количество синхронизированных реплик, просто реплик, откидывание в бекапы может еще и тп). Потом взять результаты производительности, накинуть коэффициент запаса чтобы пережить потерю хотя бы одной ноды (а лучше это протеститить в рамках НТ) По дискам: определяем сколько времени вам надо хранить данные в топиках, умножаем на ожидаемый поток, сверху коэффициент репликации, сверху коэф запаса на выход ис строя ноды. Делим на количество предполагаемых нод. И в конце добавляем магические числа для покрытия всяких доп потребностей в виде логов, зукипера, системы и тт7п По оперативе: обычно она должна вмещать какоето окно данных, которые сразу гонятся дальше без перечитывания с диска можно прикинуть условный поток*5 минут (например 100Мбит/с * 5 минут = 30Гбит = 4Гбайт). В целом в рамках НТ для достижения результата можно поиграться и размерами оперативы

Человек в кафке новичок, значит надо брать три ноды, а железа втыкать столько, сколько дали бюджета )

Ого, спасибо!

это не отменяет необходимости провести НТ на имеющемся конфиге

что такое HT

Оценка ресурсов исходя из предполагаемой нагрузки на сервис

Обычно «сайзинг» требуют в банках и другой госухе где бюджет(сайзинг) нужно посчитать сегодня а ТЗ будет послезавтра. НТ при этом «проводится» «на трёх записях» и железе которое приниципиально отличается от прома

а что делать) тут как бы и проявляется потребность в компетенциях и правильной интерпретации проведенных тестах на одних железках, понимании проблем будущего, объемом и т.п и понятно за что платят спецам)

все эти прогнозы вилами по воде писаны и вообще не про реальность

на самом деле про реальность, если есть хоть какоето понимание как именно будет использоваться кафка (да и вообще почти любой другой продукт). Такие экперименты позволяют помимо сайзинга уже наработать какойто опыт работы с инструментом и дать рекомендации по реализации всей системы за счет практического опыта - а это уже ощутимая польза и ТЗ можно написать уже поближе к реальности

В айти-бизнесе (в любом бизнесе) выживают не те, кто придумал самый умный план и прогноз, а те, кто быстрее всех к изменениям адаптируется

на самом деле выживают те у кого есть клиенты и имеется стабильная работа/заказы)) можно адаптироваться хоть 10 раз на дню без клиентов и помереть или сидеть с одним стабильным клиентом 10 лет на одно и том же контракте по разработке одной и той же системы

сидеть с одним стабильным клиентом 10 лет советы по бизнесу за 300

Kafka.new

спасибо

в грануляре зачемто добавляет схема регистри, хотя выбирался json. И зачемто тащит ksql, рест прокси, и коннект воркеры, хотя это нигде не фигурирует и изза это не понятно сколько ресурсов в них уйдет

https://eventsizer.io/feedback

спасибо, отправлено