Всем привет! Есть тут эксперты по odbc-драйверу? Нормальная ли производительность,

Question

Всем привет! Есть тут эксперты по odbc-драйверу? Нормальная ли производительность,

фулскан с винды через odbc-драйвер таблицы 1 млн строк и 472 столбца, занимает 1 минуту в формате RowBinaryWithNamesAndTypes? При этом пробовали через нативный clickhouse-client, там скорость в таком же формате около 12 сек. Упора в сетку/цп/озу нигде нет, ни на сервере ни на клиенте. Пробовали как с одной ноды дергать, так и с кластера в 2 и 5 нод, используя distributed таблицу, результаты примерно одинаковые +- 1-2сек, что наверное погрешность. Как-то ещё можно ускорить или всё-таки упор уже в драйвер ? В таблице в основном числовые значения

#backend #clickhouse #database #devops #programming #russian

0

03.02.2021

18 ответов

15 просмотров

Sergey Sesyunin Автор вопроса

Denny [Altinity]
а curl через http с RowBinaryWithNamesAndTypes ско...

16 сек) и с него сетка до 2гбит нагружается. А когда odbc драйвер, то 1 минута и сетка примерно до 500мбит нагружается

0

04.02.2021

Slach [altinity]

odbc драйвер как измеряли? на каком то языке? или time isql ?

0

04.02.2021

Sergey Sesyunin Автор вопроса

Slach [altinity]
odbc драйвер как измеряли? на каком то языке? или ...

У нас есть bi, который умеет через odbc подключаться. Смотрел по логам время которое тратится на сам запрос, без учёта отрисовки данных. А что, через curl производительность должна быть такая же как и через odbc драйвер?

0

04.02.2021

Slach [altinity]

Sergey Sesyunin
У нас есть bi, который умеет через odbc подключать...

нет, производительность BI может быть не той что вы ожидаете и узким местом может быть не драйвер, а то, как BI его использует time isql ... что говорит?

0

04.02.2021

Sergey Sesyunin Автор вопроса

Slach [altinity]
нет, производительность BI может быть не той что в...

Это не смотрели. У нас все клиенты виндовые. Я так понимаю isql надо с линуха ?

0

04.02.2021

Alexander Petrov

Год назад были похожие проблемы с производительностью при выборе большого кол-ва строк из ClickHouse при помощи виндового odbc драйвера. Дамп трафика показал что используются очень маленькие пакеты для пересылки данных. В итоге просто написали кастомный коннектор для своего BI, обращающийся к ClickHouse по http. Это позволило значительно ускорить процесс получения данных.

0

04.02.2021

Alexander Petrov

Симптомы были похожие. Ни где затыка вроде нет, а запрос выполняется оочень медленно при большом кол-ве строк в результатах запроса.

0

04.02.2021

Sergey Sesyunin Автор вопроса

Alexander Petrov
Год назад были похожие проблемы с производительнос...

А что у вас за bi, если не секрет? Я ещё хочу покопаться и выяснить, может действительно наш bi не очень хорошо работает с драйвером и из за него проблемы

0

04.02.2021

Alexander Petrov

Sergey Sesyunin
А что у вас за bi, если не секрет? Я ещё хочу поко...

QlikView

0

04.02.2021

Slach [altinity]

Sergey Sesyunin
Это не смотрели. У нас все клиенты виндовые. Я так...

ой точно под винду компилируется вот это https://crates.io/crates/odbc-tools могу собранные .exe положить куда нибудь

0

04.02.2021

Sergey Sesyunin Автор вопроса

Slach [altinity]
ой точно под винду компилируется вот это https://c...

Буду благодарен)

0

04.02.2021

Slach [altinity]

Sergey Sesyunin
Буду благодарен)

https://mega.nz/file/LUw0DZAB#1H7raEbeDno7jZjIMaV6zGQU9Z4-fNNTzzCh1BXXtRE драйвер ставил последнюю версию с github советую поставить какой нибудь cygwin или git-bash и в нем запускать как time odbc-query.exe "DSN=clickhouse_dsn" vertical "SELECT number FROM numbers(1000000)" > /dev/null

0

04.02.2021

Slach [altinity]

Sergey Sesyunin
Буду благодарен)

драйвер 64bit ставил clickhouse у меня поднят в docker + wsl2 с пробросом портов поэтому localhost

0

04.02.2021

Slach [altinity]

Sergey Sesyunin
Буду благодарен)

получилось что нибудь замерять?

0

04.02.2021

Sergey Sesyunin Автор вопроса

Slach [altinity]
получилось что нибудь замерять?

Да, я сразу на своей таблице пытаюсь проверить, но результат вообще не радует уже пару минут крутится, сетка всего на 30 мбит грузится, без vertical можно ? Как сделать вид «как есть»? Просто у меня куча столбцов и при вертикале он каждый столбик в строку записывает видимо

0

04.02.2021

Slach [altinity]

Sergey Sesyunin
Да, я сразу на своей таблице пытаюсь проверить, но...

никак... значит rust еще тупее чем остальное =) извините что не в ту стороне отправил есть еще https://github.com/microsoft/ODBCTest он вроде в комплекте MDAC поставлялся но я что-то не могу найти MDAC на мракософт

0

04.02.2021

Sergey Sesyunin Автор вопроса

Slach [altinity]
никак... значит rust еще тупее чем остальное =) из...

Печаль) попробовал ещё json-array, сетку уже получше до 150-170 мбит грузит, но все равно слабовато выходит, нужен формат как есть )

0

04.02.2021

Denny [Altinity] · Accepted Answer

Denny [Altinity]

а curl через http с RowBinaryWithNamesAndTypes сколько дает?

0

03.02.2021

184 похожих чатов

Всем привет! Есть тут эксперты по odbc-драйверу? Нормальная ли производительность,

18 ответов

Похожие вопросы