для кликхауса? Я использую обе БД по их прямому назначению, но в КХ вставляю реалтайм и он уже начинает загибаться. Хочу сделать буфер перед КХ и скидывать данные раз в секунду/две. Может кто-то уже проходил через это?
Я для себя решаю эту проблему через очереди. Все что нужно вставить кладется в очередь. Далее переодически из очереди берется нужное количество сообщений и инсертится балком в КХ. Проверяется результат пакетной вставки и после этого ack'аются взятые из очереди сообщения. Данные, которые не удалось заинсертить, отправляются в другую очередь. В моем случае это реббит и там возникает проблема с переодическим флашингом на диск, но ты можешь попробовать как-то это реализовать сразу средствами тарантула.
Обсуждают сегодня