Всем привет! Кто-нибудь перетягивал данные в clickhouse через kafka, как

Question

ClickHouse не тормозит

Konstantin Davidenko

Всем привет! Кто-нибудь перетягивал данные в clickhouse через kafka, как

эффективно это работает в связке?

#backend #clickhouse #database #devops #programming #russian

0

28.09.2021

12 ответов

8 просмотров

Konstantin Davidenko Автор вопроса

Dmitry Samoylov
да, отлично работает

Я не работал с кафкой, есть ли возможность настраивать источники, мне например нужно забирать данные из разных источников, например: google sheets mysql postgresql s3 И т.д... всего порядка 50 - 60 источников

0

28.09.2021

Dmitry Samoylov

Konstantin Davidenko
Я не работал с кафкой, есть ли возможность настраи...

Вы же хотите из kafka забирать данные в clickhouse. А уже как вы из этих источников будете лить в кафку - это другой отдельный вопрос.

0

28.09.2021

Konstantin Davidenko Автор вопроса

Dmitry Samoylov
Вы же хотите из kafka забирать данные в clickhouse...

Понял, просто думал, мало ли там есть подобный функционал, но видимо это другое)

0

28.09.2021

Boris

Konstantin Davidenko
Я не работал с кафкой, есть ли возможность настраи...

источник настроить не проблема - insert into table select * from url/mysql/pg/s3 другое дело, что 50 таблиц - уже кучка и вам скорее всего нужно реализовывать полноценный ETL процесс (или ELT) Кафка не совсем подходящий инструмент для этой цели (она может быть только частью). Можете посмотреть в сторону airflow или DBT

0

28.09.2021

Konstantin Davidenko Автор вопроса

Boris
источник настроить не проблема - insert into table...

На данный момент использую airbyte, но он ещё сильно молодой, много нужного нет, приходится дописывать. Просто стало интересно насчет кафки узнать, также читал про её интеграцию с camel

0

28.09.2021

Boris

Konstantin Davidenko
На данный момент использую airbyte, но он ещё силь...

если он вас устраивает по входам и трансформациям, то направляйте его выход в кафку, а из нее вычитывайте прямо в КХ - https://clickhouse.com/docs/en/engines/table-engines/integrations/kafka/

0

28.09.2021

Konstantin Davidenko Автор вопроса

Boris
если он вас устраивает по входам и трансформациям...

А в кафке есть система веб-хуков? Например я лью туда данные, и по завершению джоба, мне нужен ответ, что и куда перешло

0

28.09.2021

Boris

Konstantin Davidenko
А в кафке есть система веб-хуков? Например я лью т...

тут группа не про кафку. в интернете есть миллион статей про нее. самое время найти что-то на каком-нибудь медиуме и прочитать.

0

28.09.2021