Коллеги предложили использовать фичу с rabbitmq, чтобы clickhouse сам забирал данные. Но нюанс состоит в том, что хотелось бы рационально реализовать через Buffer движок и мержить данные раз в основную таблицу 1 раз каждые 100-200 запросов, чтобы избежать разовые вставки. Есть ли механизм, чтобы из rabbitmq данные отправлялись в таблицу с buffer движком или стоит писать отдельный сервис ?
engine rabbit не пишет по одной записи, он накопит батч и вставит, нет смысла вставлять в buffer. Хотя никто вам не мешает создать mat view которая будет писать из rabbit в buffer
Хмм, довольно неплохо! Как я понимаю, это как раз пример из ссылки с якорем https://clickhouse.com/docs/en/engines/table-engines/integrations/rabbitmq
Обсуждают сегодня