Кто-Нибудь выгружал напрямую данные из bigquery в clickhouse? Может есть

Question

ClickHouse не тормозит

Igor Petrov

Кто-Нибудь выгружал напрямую данные из bigquery в clickhouse? Может есть

готовые решение

#backend #clickhouse #database #devops #programming #russian

0

21.09.2021

15 ответов

37 просмотров

Igor Petrov Автор вопроса

Slach [altinity]
вариантов пара стриминга в realtime нет 1) через ...

спасибо

0

21.09.2021

Юрий Шахов

Slach [altinity]
вариантов пара стриминга в realtime нет 1) через ...

Добрый день. Прошу о помощи. Вы ранее писали в этом чате о возможности подключения и к BigQuery и выполнения запросов. Не могли бы вы рассказать как делать настройки подключения? Что, собственно, должно быть тут: odbc(connection_settings, external_database, external_table) Если у вас есть пример, поделитесь, пожалуйста. Спасибо.

0

02.12.2021

Slach [altinity]

Юрий Шахов
Добрый день. Прошу о помощи. Вы ранее писали в это...

а вы по ссылкам ходили из этого сообщения? драйвер ODBC для BigQuery в систему поставили? https://cloud.google.com/bigquery/docs/reference/odbc-jdbc-drivers odbc(connection_settings, external_database, external_table) connection_settings для odbc обычно DSN=имя_dsn

0

02.12.2021

Юрий Шахов

Slach [altinity]
а вы по ссылкам ходили из этого сообщения? драйве...

Да. Драйвер поставил. Настройку делал согласно документации, но возникает ошибка: HTTP status code: 500 Internal Server Error, body: Error getting columns from ODBC 'Code: 404. DB::Exception: Unexpected character found after parameter value in ODBC connection string. (BAD_ODBC_CONNECTION_STRING) (version 21.9.4.35 (official build))' . (RECEIVED_ERROR_FROM_REMOTE_IO_SERVER) (version 21.9.4.35 (official build)) Не могу понять что не так. odbc.ini перепроверил.

0

02.12.2021

Slach [altinity]

Юрий Шахов
Да. Драйвер поставил. Настройку делал согласно док...

попробуйте прежде чем гонять в clickhouse подключиться через isql и попробовать поделать запросы

0

02.12.2021

Юрий Шахов

Slach [altinity]
попробуйте прежде чем гонять в clickhouse подключи...

пробую делать запросы... сначала запросил права на создание датасетов, а теперь не может найти датасет в зоне US (у нас EU) - а как его настроить — непонятно. Уже два часа ищу ответ

0

02.12.2021

Slach [altinity]

Юрий Шахов

пробую делать запросы... сначала запросил права на...

ну это скорее вопрос к саппорту BigQuery или авторам ODBC плагина =(

0

02.12.2021

Юрий Шахов

Slach [altinity]
ну это скорее вопрос к саппорту BigQuery или автор...

((((

0

02.12.2021

Slach [altinity]

Юрий Шахов
((((

доку по ODBC драйверу еще раз перечитать и пока в isql запросы не заработают экспериментировать

0

02.12.2021

Юрий Шахов

Slach [altinity]
доку по ODBC драйверу еще раз перечитать и пока в ...

если набрать команду help, то приходит ответ с названиями наших таблиц...

0

02.12.2021

azadevlab

Igor Petrov
спасибо

извиняюсь, у вас получилось подключить BigQuery к КХ клиенту?

0

27.02.2022

Igor Petrov Автор вопроса

azadevlab
извиняюсь, у вас получилось подключить BigQuery к ...

Дорого. Делаем выгрузки и льем в КХ Все как в доке работало. Но с нашим объемом дешевле выгружать

0

27.02.2022

azadevlab

добрый вечер, вам удалось выгрузить?

0

14.03.2022

Igor Petrov Автор вопроса

Igor Petrov
Дорого. Делаем выгрузки и льем в КХ Все как в доке...

@huskydev

0

15.03.2022

Slach [altinity] · Accepted Answer

вариантов пара стриминга в realtime нет 1) через экспорт bigquery -> google cloud storage https://cloud.google.com/bigquery/docs/exporting-data -> загрузка через table functions s3 или s3cluster через INSERT INTO ... SELECT ... WHERE условия для дельты https://clickhouse.com/docs/en/sql-reference/table-functions/s3/ можно даже в MergeTree не ч грузить =) но медленно 2) точно также зная дельту (по времени например или по uint64 snowflake id какому нибудь) ODBC / JDBC через https://cloud.google.com/bigquery/docs/reference/odbc-jdbc-drivers и через https://clickhouse.com/docs/en/sql-reference/table-functions/odbc/ и https://clickhouse.com/docs/en/sql-reference/table-functions/jdbc/

184 похожих чатов

Кто-Нибудь выгружал напрямую данные из bigquery в clickhouse? Может есть

15 ответов

Похожие вопросы