Всем привет. был клик в опеншифте( кубере ), вынес его наружу,

Question

Всем привет. был клик в опеншифте( кубере ), вынес его наружу,

прокинул порты от кафки, и при аттаче таблицы в локах кафки начинаю видеть такое, скрин.

прописывать в строке Engine клик аттача - kafka_max_block_size разные значение, в логах не поменялось ничего.

что-то упустил или сломал?)

#backend #clickhouse #database #devops #programming #russian

0

22.08.2022

17 ответов

9 просмотров

Aleksandr Fedotov Автор вопроса

Slach [altinity]
вы clickhouse На тот же сервер на котором kafka кр...

нет, На другой, и они и были на разных

0

22.08.2022

Aleksandr Fedotov Автор вопроса

Aleksandr Fedotov
нет, На другой, и они и были на разных

я порты про бросил на сервер клиrа ,Чтоб они ходил на localhost:9092

0

22.08.2022

Slach [altinity]

Aleksandr Fedotov
нет, На другой, и они и были на разных

тогда непонтяно, почему вы решили что ошибки при чтении от локального коннекта 127.0.0.1 внутри kafka server относятся к clickhouse? если бы относились тогда бы там IP clickhouse-server был в самой кафке ничего не меняли?

0

22.08.2022

Aleksandr Fedotov Автор вопроса

Slach [altinity]
тогда непонтяно, почему вы решили что ошибки при ч...

когда делаю detach - эта ошибка пропадает

0

22.08.2022

Slach [altinity]

прокинул порты наружу кубера каким способом?

0

22.08.2022

Slach [altinity]

Aleksandr Fedotov
когда делаю detach - эта ошибка пропадает

ок. понятно тогда да, связано... как прокидывали порты из кубера на сервер клика?

0

22.08.2022

Aleksandr Fedotov Автор вопроса

Slach [altinity]
прокинул порты наружу кубера каким способом?

да, я через порт форвардинг прокинул. и по логахего вижу ,То данные идут вот так - пока костально: oc port-forward service/qa-kafka-bootstrap 9094:9092 проверял питоном, что могу запросить списки топиков, и принял решение, что работает такой способ)

0

22.08.2022

Slach [altinity]

Aleksandr Fedotov
да, я через порт форвардинг прокинул. и по логахег...

ну он работает ... то есть clickhouse-server ходит на 127.0.0.1:9094 ? в логах /var/log/clickhouse/clickhouse-server.err.log что то есть?

0

22.08.2022

Slach [altinity]

Aleksandr Fedotov
да, я через порт форвардинг прокинул. и по логахег...

вообще port-forward это способ "временного прокидывания" для отладки обычно... как вы проверяете что oc все еще запущен и форвардит трафик?

0

22.08.2022

Aleksandr Fedotov Автор вопроса

Slach [altinity]
ну он работает ... то есть clickhouse-server ходит...

да, на 9094 ходит и могу видеть топики. в логах много чего есть, на том сервере, крутятся другие базы. поэтому найти именносои ошибки сложно. вижу только типа таких 2022.08.22 05:34:26.013990 [ 822377 ] {} <Error> void DB::StorageKafka::threadFunc(size_t): Code: 242, e.displayText() = DB::Exception: Table is in readonly mode (zookeeper path: /clickhouse/tables/qa/user_activities), Stack trace (when copying this message, always include the lines below):

0

22.08.2022

Aleksandr Fedotov Автор вопроса

Slach [altinity]
вообще port-forward это способ "временного прокиды...

оно сейчас откорыто в отдельном окне, не в фоне и я вижу, когда идет потом или ,он в аутпут плюет такое, когда идет поток

0

22.08.2022

Slach [altinity]

Aleksandr Fedotov
да, на 9094 ходит и могу видеть топики. в логах м...

у вас коннект к zookeeper пропал... для ReplicatedMergeTree таблиц zookeeper нужен судя по всему engine=Kafka пытается вычитать данные из кафки и Materialized View который тригерит это вычитывание, не может вставить данные в destination ReplicatedMergeTree и Engine=Kafka закрывает соединение с kafka .... почитайте тут как это работает https://kb.altinity.com/altinity-kb-integrations/altinity-kb-kafka/altinity-kb-kafka-main-parsing-loop/

0

22.08.2022

Aleksandr Fedotov Автор вопроса

Slach [altinity]
у вас коннект к zookeeper пропал... для Replicate...

понля, спасибо - гляну. на зукипере , правад ,тоже поднимал проброс, чтоб он видел

0

22.08.2022

Slach [altinity]

Aleksandr Fedotov
понля, спасибо - гляну. на зукипере , правад ,тож...

проверьте SELECT * FROM system.zookeeper WHERE path='/' FORMAT Vertical

0

22.08.2022

Denny [Altinity]

Aleksandr Fedotov
да, на 9094 ходит и могу видеть топики. в логах м...

у кафка есть понятие advertised listeners т.е. вы говорите консюмеру (kafka=engine) иди на localhost:9092 , он туда идет, а там ему говорят тебе надо ходит в брокеры с именами, x:19092, y:19092, z:19092, ...., а КХ туда подключится не может, потому что вы их не пробросили, или имена совсем левые получаются

0

22.08.2022

Aleksandr Fedotov Автор вопроса

Denny [Altinity]
у кафка есть понятие advertised listeners т.е. вы...

да, точно - спасибо - может такое быть

0

22.08.2022

Slach [altinity] · Accepted Answer

Slach [altinity]

вы clickhouse На тот же сервер на котором kafka крутится поставили?

0

22.08.2022

184 похожих чатов

Всем привет. был клик в опеншифте( кубере ), вынес его наружу,

17 ответов

Похожие вопросы