Вопрос к уже обмазанным кафкой (и похожими инструментами) по уши как

вы мониторите процессы гуляющие через кучу систем, топиков?
есть ли комплексные решения? или отдельные компоненты отдельно (топики в графане с описанием на вики)?

вопрос как про бизнес процессы, так и про технологические процессы

2 ответов

3 просмотра

Еее

размотали по коду что дергают скрипты типа kafka-topics, kafka-consumer-groups, переодически дергаем тоже самое и отправляем в инфлюкс вместе с остальной статистикой, которая уже предоставляется. То есть собираем инфу как по топикам с детализацией по партиции, так и по консумер группам, это что касается сервера. Что касается клиентов(консумеров/продьюсеров), то с них тоже всю стату отправляем в инфлюкс, плюс ещё немного недостающей отсебятины добавили, типо в продьюсеры добавили инфу в разрезе по топикам - число отправленного в штуках, в байтах, гистограмма по размерам месседжей. В консумеры еще всякого понапихали, типо число месседжей находящихся в процессе обработки, triptime, нет сейчас кода перед глазами, кажется еще много чего недостающего допилили. Вот, кароч инфу с консумеров и продьюсеров тоже отправляем в инфлюкс. Потом по инфлюксу строим дашборды в графане на которых вся информация в комплексе, ну и трегеры к этому всему еще средсвами инфлюкса прикручены.

Похожие вопросы

Обсуждают сегодня

Господа, а как такое в миграцию засунуть?
Денис Александрович
12
Какой максимальный размер caption у сообщений с фото? И учитываются ли в подсчете тэги форматирования? (<i>, <b>...)
Anton Shvets
4
Желаю получить совет от великих ботмейкеров которые успешно поднимали ботов на несколько тысяч одновременно активных юзеров Какая чушь нужна людям прямо сейчас, и что стоило ...
ռɛ ʋɛʀʍօʀɛ
6
кто тебе сказал, что она угроблена? многие только начинают жизнь, после увольнения из Гугла, Майкрософта, Оракла,...
Alex Kom
9
Здравствуйте! Был старый сайт на octobercms v1. Виртуальная машина провайдера накрылась и сайт не работает. У меня остался zip архив с сайтом и база данных sql. Что я сделал н...
Il
1
Мне вот интересно jwt токен для подключения сторонего сайта к оду норм идея?
Andrij Moskivets
6
В альтернативе у нас сидеть горбатиться на дядю в галерах, пока не помрешь или пока тебя не заменят более молодым сотрудником, который готов гребсти в два раза дешевле. Вот и ...
Кабан Кабанов
7
Так а кто может спарсить всех участников чата? Идишники
Magic
18
сори за оффтоп, но просто в тему https://www.youtube.com/watch?v=8Q_YfcpgdGU
Alex Kom
8
да пофиг на капчу зашел в чат и молчишь при этом ты нонейм? пошел вон
Magic
17
Карта сайта