инфраструктуре используется для съема метрик push методология на базе graphite (carbon-clickhouse, clickhouse), коллектор метрик - collectd + grafana для дашбордов. Есть что-нибудь под данный стек? (гуглил предварительно, но не сказать что что-то нашел).
kafka запущена в cloudera, на совсем крайний случай можно будет попробовать подключить datasource от cloudera (https://grafana.com/grafana/plugins/foursquare-clouderamanager-datasource/installation), но этот вариант хотелось бы использовать когда прям совсем будет безысходно.
В интернете читал, что можно что-то получать через JMX, поставил гуевого клиента (visualvm) - там вижу только CPU usage, heap used, Threads, Classes - т.е. чисто системные метрики.
Собственно несколько вопросов:
- Можно ли через JMX получать метрики по топикам, брокерам и тп?
- рабочая связка съема метрик кафки на базе graphite существует?
- если абстрагироваться текущей системы мониторинга - есть какие-то признанные продукты для мониторинга кафки?
Для Прометея есть jmx exporter, там же есть kafka exporter. Первый шарит метрики jvm, второй метрики самой Кафки
https://www.youtube.com/watch?v=M3HTM81P-Sg 15-я минута.
Обсуждают сегодня