А кто что использует для взаимодействия с clickhouse? видел clickhousex

Question

А кто что использует для взаимодействия с clickhouse? видел clickhousex

и clickhouse_ecto, но они мне показались сыроватыми, по крайней мере из коробки не заработали. конкретно сейчас смотрю на pillar, но при нём нет адаптера к ecto.

#elixir #programming #russian

0

13.04.2021

16 ответов

16 просмотров

Anton Lapshin

Pillar берите, он ок :) на ecto парадигма clickhouse плохо ложится, собственно это и побудило pillar сделать

0

13.04.2021

Igоr Gоrуаchev Автор вопроса

Anton Lapshin
Pillar берите, он ок :) на ecto парадигма clickhou...

pillar внутренне очень неплох на первый взгляд. у меня как раз вставал ещё один вопрос: если нет адаптера к ecto, то, видимо, есть на то причины?

0

13.04.2021

Anton Lapshin

Igоr Gоrуаchev
pillar внутренне очень неплох на первый взгляд. у ...

да, всё так. по той же причине и к монге нормального адаптера нет. кликхаус только внешне по запросам отчасти похож на sql, внутри-то он вообще иной, с иным форматом работы. на классический sql не ложится никак. ну и потом, юзать кх в том качестве, в котором обычно тот же постгрес используется, на мой взгляд немного некорректно, он про другое

0

13.04.2021

Konstantin Grabar

Когда я с коллегами писал либы эти все было ок. Но сейчас вполне возможно это все устарело. Поддержкой и развитием други ребята занимаются, они есть в этом чате. И к ecto адаптер тоже работает на самом деле

0

13.04.2021

Igоr Gоrуаchev Автор вопроса

Konstantin Grabar
Когда я с коллегами писал либы эти все было ок. Но...

скорее всего, так и есть. спасибо за ответ!

0

13.04.2021

Dmitry A.R.

У нас clickhousex, но без ecto.

0

13.04.2021

Maksim Lapshin

1. Для работы с кликхаусом надо выстроить пайплайн подготовки батча. Мы это делаем сами 2. Дальше надо подготовить вставку. Мы делаем это в raw binary, код могу пошарить. 3. Отправить это по http

0

13.04.2021

Yaroslav Rogov

Maksim Lapshin
1. Для работы с кликхаусом надо выстроить пайплайн...

На это бы особенно обратил внимание. Дёргать кликхаус на вставку по одной записи – в ноги стрелять.

0

13.04.2021

Maksim Lapshin

Yaroslav Rogov
На это бы особенно обратил внимание. Дёргать кликх...

да. В кликхаус достаточно разумно вставлять раз в секунду. Если за секунду набегает больше миллиона записей, тут уж своей думкой надо думать, а не по чатам вопросы задавать. Если меньше, то нечего париться.

0

13.04.2021

Lama Lover

pillar антибезопасный внутри, там запросы строятся через String.replace, так что сами экранируйте инъекции А что не так с clickhousex и clickhouse_ecto, почему они кажутся сыроватыми? clickhousex раньше был кривой но сейчас очень хорошо работает, а clickhouse_ecto в общем случае просто не нужен

0

13.04.2021

Maksim Lapshin

Lama Lover
pillar антибезопасный внутри, там запросы строятся...

там не RowBinary что ли?

0

13.04.2021

Igоr Gоrуаchev Автор вопроса

Lama Lover
pillar антибезопасный внутри, там запросы строятся...

из коробки у он у меня вообще не завёлся, не отработал даже пример из README. не заработала также авторизация (там в хедере : не должно быть после Basic). не исключаю, что что-то не так делал, либо взял библиотеку не из правильного места.

0

13.04.2021

Lama Lover

Maksim Lapshin
там не RowBinary что ли?

RowBinary это формат кодирования данных А сами запросы всё равно текстом отсылаются Так вот в pillar это последовательный String.replace А это значит, что это не только инъекция, а ещё и переполнение памяти может быть

0

13.04.2021

Lama Lover

Igоr Gоrуаchev
из коробки у он у меня вообще не завёлся, не отраб...

Надо завести issue Какие версии clickhouse и clickhousex? @ar1ka1 @fried_zucchini

0

13.04.2021

Dmitry Shpagin

Lama Lover
RowBinary это формат кодирования данных А сами зап...

Там же экранирование параметров, а не вот это вот все) (Думаю, инъекцию сделать не получится) По поводу String.replace не совсем понимаю, в чем проблема? Тут все пишут проекты без String.replace, а кто пишет - в зоне риска?

0

13.04.2021

Dima · Accepted Answer

Dima

ping @santaux, кажется, про твою библиотеку говорят )

0

13.04.2021

169 похожих чатов

А кто что использует для взаимодействия с clickhouse? видел clickhousex

16 ответов

Похожие вопросы