Всем привет! все никак не могу решить свою проблему. распишу

Question

Всем привет! все никак не могу решить свою проблему. распишу

еще раз вопрос с новыми подробностями, может кто откликнется.

Есть приложение, которое принимает событие, пушит его в кафку. В Clickhouse(22.5.1) есть таблица Engine Kafka, есть materialized view, который читает таблицу кафки, парсит сообщение, и складывает события в таблицу.

Одна из колонок таблицы типа json. Пропустил валидацию, пришли события:
{"amount": {"amount": 123}}
{"amount": 123}

и все взорвалось:
2022.09.26 15:26:50.293216 [ 458 ] {} <Error> void DB::StorageKafka::threadFunc(size_t): Code: 122. DB::Exception: Data in Object has ambiguous paths: 'amount.amount' and 'amount': while converting source column event_parameters to dest
ination column event_parameters: while executing 'FUNCTION _CAST(event_parameters :: 4, Object('json') :: 22) -> _CAST(event_parameters, Object('json')) Object('json') : 21': while pushing to view default.consumer (910fb096-3741-4d14-85
e0-d7defe5afcac). (INCOMPATIBLE_COLUMNS), Stack trace (when copying this message, always include the lines below):

Материалайз вью заглох, не читает дальше, не может пропустить события.

Пробовал DROP & CREATE таблиц kafka и materialized view - не помогло.
Пробовал https://kb.altinity.com/altinity-kb-integrations/altinity-kb-kafka/error-handling/ - этот(второй) способ - не помогло(ни в новом вью не появились ошибочные записи, ни скипанулись ошибочные сообщения).
Пробовал бампать ClickHhouse до 22.9.2.7 - не помогло.
Пробовал сдвинуть оффсет кафки - не помогло.

подскажите, люди добрые, как пропустить сообщения, которые вью не может прочесть и продолжить работу по разгребанию очереди?

#backend #clickhouse #database #devops #programming #russian

0

26.09.2022

4 ответов

18 просмотров

nmicra

Думаю то что вы описываете это так называемый poison pill в кафке. У вас там не валидное сообщение которое Kafka Engine от КХ, не может обработать или пропустить. Если все так как я предполагаю, то самый простой способ это удалить и создать заново Кафка топик

0

26.09.2022

твой братишка Автор вопроса

nmicra
Думаю то что вы описываете это так называемый pois...

все примерно так в случае удаления кафка топика данные в очереди останутся ?

0

26.09.2022

Slach [altinity]

nmicra
Думаю то что вы описываете это так называемый pois...

оно валидное, просто структура JSON кривая, с разными типами для одних и тех же колонок

0

27.09.2022

Nick · Accepted Answer

Nick

просто сдвиньте офсеты за проблемный док и закомитьте. Сами кривые доки можно вычитать и куданить сдампить, а потом решить что с ними делать и хоть руками закинуть

0

26.09.2022

184 похожих чатов

Всем привет! все никак не могу решить свою проблему. распишу

4 ответов

Похожие вопросы