случае большого числа мелких инсертов? Есть какие-то общепринятые решения?
я MySQL использую.
эммм. А Буферные таблицы самого кликхауса не подходят?
зависит от многих факторов. можно хоть в файлики записывать, раз в минуту их объединять и кидать одним большим куском. вот ссылка интересная, где затрагивается этот вопрос https://habr.com/ru/company/ua-hosting/blog/483712/
я складываю в tsv файлики и раз в 20 сек их пихаю в базу
Попробуйте, Kafka. Я так понимаю, что в метрики Яндекс использует именно очерердь. Только свою очередь. А коннектор к Kafka сейчас поддерживается Altinity и в состоянии production-ready. Мы у себя именно так построили архитектуру и на тестах пока всё работает на 5+
Обсуждают сегодня