Привет! Подскажите, пожалуйста, как лучше всего подключить mariaDB таблицу к ClickHouse,

Question

Привет! Подскажите, пожалуйста, как лучше всего подключить mariaDB таблицу к ClickHouse,

чтобы инкрементально обновлять записи в ClickHouse без фулл скана подключенной таблицы?

Сейчас при insert с where id > (select max(id) from table) clickhouse делает фулл скан и тащит данные в оперативку для сравнения, а хочется, чтобы он вычислял max_id локально и отправлял max_id для сравнения в удаленный запрос.

#backend #clickhouse #database #devops #programming #russian

0

01.09.2022

2 ответов

8 просмотров

Vladimir Klimov Автор вопроса

Boris
insert into table with (select max(id) from table ...

Спасибо, помогло 🙈

0

01.09.2022

Boris · Accepted Answer

Boris

insert into table with (select max(id) from table where ts > now() - interval 1 month) as lastID select * from mysql(named_collection, table=table) where id > lastID

0

01.09.2022

184 похожих чатов

Привет! Подскажите, пожалуйста, как лучше всего подключить mariaDB таблицу к ClickHouse,

2 ответов

Похожие вопросы