@Milovidov_an Алексей, а не могли бы рассказать, как устроена интеграция

Question

@Milovidov_an Алексей, а не могли бы рассказать, как устроена интеграция

Кафки с Кх? Делал все по https://github.com/yandex/ClickHouse/blob/master/docs/en/table_engines/kafka.rst
Создал на каждой тачке кластера по табличке-очереди и вьюхе-консьюмеру с одним общим group.id, который пишет в конечные локальные таблицы + на эти локальные таблицы смотрит одна распределенная табличка.
Т.е. идея какая: на каждой тачке из одного топика выливаются данные в локальные таблицы, распределенной на них смотрим.
В итоге, из топика с 66к сообщений данные очень неспеша подсасываются - 1,800 записей за 3 часа, это как-то печально
Что может быть не так и что может быть не настроено/настроено не верно?

#backend #clickhouse #database #devops #programming #russian

0

13.12.2017

1 ответов

8 просмотров

Alexey Milovidov · Accepted Answer

Alexey Milovidov

Я сам не разбирался подробно с поддержкой Kafka - не ставил конфигурацию, где это используется. Также не хватает интеграционных тестов. Предлагаю задать вопрос Marek на английском языке и попросить его добавить интеграционный тест.

0

13.12.2017

184 похожих чатов

@Milovidov_an Алексей, а не могли бы рассказать, как устроена интеграция

1 ответов

Похожие вопросы