Добрый вечер. Версия КХ 21.3.17.3 данные заносятся через chproxy в

Question

Добрый вечер. Версия КХ 21.3.17.3 данные заносятся через chproxy в

таблицу в Engine=NULL, после чего растаскиваются мат вью по конечным таблицам. Дополнительной фильтрации при занесении через матвью - нет, можно сказать, что просто создается N таблиц с полностью идентичными данными, но при этом разный primary key & order by. Дальше начинается интересное : количество строк в таблицах не совпадает. Причем, можем быть такое, что строка присутствует в какой-то из таблиц - в остальных - нет. https://clickhouse.com/docs/en/operations/settings/settings/#settings-input_format_allow_errors_num и https://clickhouse.com/docs/en/operations/settings/settings/#settings-input_format_allow_errors_ratio выставлены в 0. Т.е при занесении , в случае ошибки , исходный фаил должен отбраковаться - но ошибок при занесении нет ( в браке пусто). Может еще какие-то настройки есть, которые дефолтно "закрывают глаза" на некорректные строки без уведомления пользователя?

#backend #clickhouse #database #devops #programming #russian

0

22.11.2021

3 ответов

20 просмотров

Brаl Brаl Bral 🏳️‍🌈👠 Автор вопроса

Denny [Altinity]
да что угодно, ошибки вставки, дедупликация

Так разве input_format_allow_errors/ratio в 0 не гарантия того, что при ошибке инсерт не пройдет ?

0

23.11.2021

Denny [Altinity]

Brаl Brаl Bral 🏳️‍🌈👠
Так разве input_format_allow_errors/ratio в 0 не г...

что такое не пройдет? например дедупликация молча пропускает инсерты. я бы добавил в таблицы отладочной информации чтобы можно индентифицировать инсерт, и искал в логах КХ что случилось с конкретным инсертом

0

23.11.2021

Denny [Altinity] · Accepted Answer

Denny [Altinity]

да что угодно, ошибки вставки, дедупликация

0

22.11.2021

184 похожих чатов

Добрый вечер. Версия КХ 21.3.17.3 данные заносятся через chproxy в

3 ответов

Похожие вопросы