А как делать sync в MySql Engine? MaterializeMySQL не предлагать, старая

Question

ClickHouse не тормозит

Kuzma Leshakov

А как делать sync в MySql Engine? MaterializeMySQL не предлагать, старая

версия клика

#backend #clickhouse #database #devops #programming #russian

0

29.06.2021

11 ответов

17 просмотров

Slach [altinity]

имеется ввиду table ENGINE=MySQL(...)? если да, то там нет никакого sync, там запрос с WHERE пробрасывается непосредственно на MySQL а GROUP BY и ORDER BY делаются на стороне clickhouse или MaterializedMySQL() ? он работает как MySQL slave и данные в него прилетают по replication протоколу там тоже никакого sync нет, если репликация сломалась, придется заново все данные перекачивать ( удалять и создавать базу данных)

0

29.06.2021

Kuzma Leshakov Автор вопроса

Slach [altinity]
имеется ввиду table ENGINE=MySQL(...)? если да, то...

Спасибо за ответы @BloodJazMan @unamedrus а если внешний словарь? Какой-то из вариантов делает возможным реплику (с периодическими апдейтами) и чтобы все последующие операции шли только в кх?

0

29.06.2021

Slach [altinity]

Kuzma Leshakov
Спасибо за ответы @BloodJazMan @unamedrus а если...

внешний словарь с ssd_cache layout у вас какой объем таблицы в MySQL?

0

29.06.2021

Kuzma Leshakov Автор вопроса

Slach [altinity]
внешний словарь с ssd_cache layout у вас какой о...

334 мб

0

29.06.2021

Slach [altinity]

Kuzma Leshakov
334 мб

ну можно словарь засунуть, но это не real time sync это периодическая синхронизация

0

29.06.2021

Пользователь 63504

Slach [altinity]
ну можно словарь засунуть, но это не real time sy...

Direct можно заюзать как движок для словаря

0

29.06.2021

Slach [altinity]

Пользователь 63504
Direct можно заюзать как движок для словаря

он нормально применим скорее для REDIS Для MySQL получится шторм из SQL запросов 1 запрос на 1 dictGet...

0

29.06.2021

Пользователь 63504

Slach [altinity]
он нормально применим скорее для REDIS Для MySQL п...

а если словарь из mysql строить так, чтобы ключ словаря в Clickhouse был первичным ключом в таблице mysql? по логике тогда сложность запросов таких будет O(1), не так ли?

0

29.06.2021

Slach [altinity]

Пользователь 63504
а если словарь из mysql строить так, чтобы ключ сл...

ну только для DIRECT layout у вас latency на запрос будет нефиговый такой захотите выбрать допустим 100 тыс dictGet и получите 100 тыс коротких SQL запросов которые MySQL даже в несколько десятков коннектов прососет секунд за 5-10 не меньше... это REDIS может до миллиона запросов через MGET в секунду делать key\value (multi threading имплементации) хотя кстати с MySQL вроде тоже может быть SQL запрос WHERE id IN (...) но это не o(1) это o(n) сложность все равно... и парсер MySQL запроса на MySQL сервере для o(1) будет 90% времени занимать... вот кстати как вариант можно Oracle MySQL MEMCACHE plugin какой нибудь попробовать использовать ;) Но clickhouse не умеет memcache в качестве источника

0

30.06.2021

Пользователь 63504

Slach [altinity]
ну только для DIRECT layout у вас latency на запро...

Спасибо большое за пояснение

0

30.06.2021

Dmitry [Altinity] Titov · Accepted Answer

Dmitry [Altinity] Titov

никак. mysql engine не хранит данные в себе. а делает запрос в mysql каждый раз

0

29.06.2021

184 похожих чатов

А как делать sync в MySql Engine? MaterializeMySQL не предлагать, старая

11 ответов

Похожие вопросы