для агрегации их в более приятные для кх блоки сначала использовали буферные таблицы, потом переехали на самописный агрегатор (редис + скрипт по крону), но он близок к тому чтобы перестать справляться.
Решили посмотреть на готовые решения, нашли kittenhouse и clickhouse-bulk
Кто-то (за пределами вк) ставил их, есть отзывы? Плюсы-минусы-подводные камни?
Поделитесь пожалуйста, почему не устроили буферы?
Ставил булку, так себе опыт, к сожалению. Я пользуюсь Java драйвером, с агентов отправляю метрики + периодически довольно объёмный текст для одного из полей метрик, использую сжатие в запросах (хвала разработчикам за эту потрясающую фичу), и булка, на какие-то из моих вставок выдавал не очень понятные ошибки, честно говоря я не стал разбираться в каких моментах ошибки и пока снес его а вместо этого ещё чуток улучшил пакетную вставку на агентах ну и буферку использую конечно. Киттен пока не пробовал, в планах, конечно поиспытывать и заставить работать какой то из агрегаторов. Также благодарен если кто опытом поделится.
Обсуждают сегодня