Всем привет. Народ подскажите пожалуйста как подружить clickhouse с Google

Question

Всем привет. Народ подскажите пожалуйста как подружить clickhouse с Google

analytics ...
1. Хотим выгрузить сырые исторические данные из GA в кликхауз через API Google analytics и питон
2. Заливать пару раз в сутки новые данные из GA в кликхауз.

Ну а потом уже использовать данные в КХ для строительства дашбордов в power bi.

Кто-то может подсказать куда копать по этим двум пунктам ?

#backend #clickhouse #database #devops #programming #russian

0

01.04.2021

12 ответов

27 просмотров

Rus Автор вопроса

Пользователь 61745
1- он отдает сырые данные? а что не так? тем же п...

Сейчас забираю сырые данные из ga по API напрямую в power bi без промежуточной базы данных . То есть , каждый когда в power BI запускается обновление данных , то тянутся сырые данные из GA за весь исторический период, а не за последние дни или часы.... Ну и понятно , что такая схема архи ненадёжная , тк когда каждый раз тянешь по 10-20 млн строк , то всегда есть риск , что API Гугла отвалится... Поэтому , хочется сделать промежуточную базу для хранения один раз скачанных исторических данных из ga... я в clickhouse вообще новичок , только вчера поставил его на виртуалке , чтобы поэкспериментировать, поэтому опыта по вытягиванию данных в него около нуля. Мне бы какой-нибудь пример скрипта на питоне , который тянет данные по любой одной метрике из ga и кладёт в кликхауз ...

0

01.04.2021

Пользователь 61745

Rus
Сейчас забираю сырые данные из ga по API напрямую...

Я чесно не оч понимаю какие сырые данные вы там нашли, ga по умолчанию не отдает сырых данных никаких. Если вы совсем новичок начните с этой библиотеки https://github.com/kszucs/pandahouse на вход принимает pandas data frame пишет в нужную таблицу в кх.

0

01.04.2021

Rus Автор вопроса

Пользователь 61745
Я чесно не оч понимаю какие сырые данные вы там на...

Я забираю данные по хитам/ сессиям/ кликам без сэмплирования и с ga:client id. Это и называю сырыми данными. Если в самом ga строить отчеты за большие периоды , то они получаются с сэмплированием

0

01.04.2021

Пользователь 61745

Rus
Я забираю данные по хитам/ сессиям/ кликам без сэ...

пнтн ну это не сырые данные,если нужно избавиться от семплирования то можно посмотреть в сторону Big query, там есть удобная связка с GA

0

01.04.2021

Rus Автор вопроса

Пользователь 61745
Я чесно не оч понимаю какие сырые данные вы там на...

За пандахауз спасибо. С ней немного работал для того , чтобы вытянуть данные из самого кликхакза в питон А как залить данные из ga в кликхауз ?

0

01.04.2021

Rus Автор вопроса

Пользователь 61745
пнтн ну это не сырые данные,если нужно избавиться ...

Хорошо, а что такое сырые данные ?

0

01.04.2021

Slach [altinity]

Rus
За пандахауз спасибо. С ней немного работал для то...

экспортом через API или из BigQuery OWOX BI такое умеет и databricks ну или для новых данных сделать рестриминг данных в clickhouse напрямую https://bitbucket.org/clickhouse_pro/ga2clickhouse/src/develop/ но последний проект заброшен

0

01.04.2021

Rus Автор вопроса

Slach [altinity]
экспортом через API или из BigQuery OWOX BI тако...

Да я понимаю , что экспортом через апи. Это же очевидно. Нужен хотя бы пример рабочего кейса , чтобы понять как этот " экспорт через апи " написать под свои нужды.

0

01.04.2021

azadevlab

Slach [altinity]
экспортом через API или из BigQuery OWOX BI тако...

о, огонь-огонь, сами пробовали из bigquery выгружать напрямую в КХ ? чёт настроил odbc, подключаюсь через tsql, но вот КХ клиент в упор не хочет , не пойму что ему не нравится

0

14.03.2022

Slach [altinity]

azadevlab
о, огонь-огонь, сами пробовали из bigquery выгружа...

а через isql ODBC коннект к bigquery работает? вы ODBC в какой OS настроили? ну он ошибку обычно говорит и показывает что ему надо

0

15.03.2022

azadevlab

Slach [altinity]
а через isql ODBC коннект к bigquery работает? вы ...

isql работает ОС - ubuntu может я не правильно обращюсь из КХ клиента? есть ли у Вас пример?

0

15.03.2022