Привет. Посоветуйте, пожалуйста) Есть база в mysql, хочу с нее

Question

Привет. Посоветуйте, пожалуйста) Есть база в mysql, хочу с нее

данные перегонять в кх. Нужна именно таблица с кликами. Всё бы хорошо, но у кликов есть параметры которые в mysql хранятся как отдельная таблица, а в кликах только айди этого параметра. Как лучше организовать храниение данных? Просто повторить то что сейчас есть в mysql?

#backend #clickhouse #database #devops #programming #russian

0

16.03.2021

9 ответов

11 просмотров

Brommie Savor Автор вопроса

Dmitry [Altinity] Titov
Как перегонять? Мб создать View на стороне mysql и...

для начала думал испотльзовать ваш скрипт https://github.com/Altinity/clickhouse-mysql-data-reader Но понял что проще будет написать свою приблуду - по крону сравнивать последний айди в мускуле с айди в кх. Запросы к mysql вообще нет жалания писать, всё очень тормознуто и не хочу его трогать

0

16.03.2021

Dmitry [Altinity] Titov

Brommie Savor
для начала думал испотльзовать ваш скрипт https://...

https://clickhouse.tech/docs/en/engines/database-engines/mysql/ Cмотрели?

0

16.03.2021

Brommie Savor Автор вопроса

Dmitry [Altinity] Titov
https://clickhouse.tech/docs/en/engines/database-e...

ну как я понял - оно же просто перенаправляет запросы в mysql

0

16.03.2021

Dmitry [Altinity] Titov

Brommie Savor
ну как я понял - оно же просто перенаправляет запр...

Да, но допустим можно писать INSERT INTO ch_table FROM mysql_table ... прямо в кх

0

16.03.2021

Brommie Savor Автор вопроса

Dmitry [Altinity] Titov
Да, но допустим можно писать INSERT INTO ch_table ...

ммм, да, можно и так, возможно даже проще будет. Но опять же вопрос к структуре данных) На ходу поставлять параметры в клики или держать 2 таблицы, и если так то какой энжин лучше будет?

0

16.03.2021

Dmitry [Altinity] Titov

Brommie Savor
ммм, да, можно и так, возможно даже проще будет. Н...

Лучше объединить в одну таблицу в большинстве случаев. но обычно такого рода JOIN быстрее сделать на стороне муськи, чем тащить данные в кх и джойнить там

0

16.03.2021

Brommie Savor Автор вопроса

Dmitry [Altinity] Titov
Да, но допустим можно писать INSERT INTO ch_table ...

Ну тут тоже момент, не все столбцы с мускула надо + если подставлять значения вместо айдишек параметров - надо доп обработка

0

16.03.2021

Brommie Savor Автор вопроса

Brommie Savor
Ну тут тоже момент, не все столбцы с мускула надо ...

а то как-то не хочется подзапросамы выбирать эти значения. Думал как-то пачкой через distinct и where in

0

16.03.2021