Привет. столкнулся с потерей небольшой доли данных в материализованных вьюшках.

Question

Привет. столкнулся с потерей небольшой доли данных в материализованных вьюшках.

Общая конфигурация - запись в Distributed-таблицу, таблица разбита на 4 шарда по две реплики. К основной таблице цепляется 4 вьюшки. Запись в исходную таблицу - 10-15 запросов в минуту, в Distributed-таблицу произвольного сервера.

Сверяю данные - получается, что некоторые куски во вьюшках пропадают. Разные в каждой вьюшке и каждом шарде. Увидел в changelog, что это может быть при таймауте ZK - проапдейтил сервера на актуальную версию. Кажется, что проблем стало меньше - но все равно остались. Вот сегодня увидел один такой потерянный блок.

@ztlpn кому можно такое направить?

#backend #clickhouse #database #devops #programming #russian

0

02.10.2018

1 ответов

18 просмотров

Mikhail Petrov · Answer 1

Вдогонку - практически каждый час вижу в err-логах записи про проблемы с ZK. Можно ли что-то с этим сделать? Попробовал увеличить время сессии с ZK, пока особых результатов не видно. Пример записей в err-логе: <Error> zkutil::EphemeralNodeHolder::~EphemeralNodeHolder(): Code: 999, e.displayText() = ZooKeeperImpl::Exception: Session expired (Session expired), e.what() = ZooKeeperImpl::Exception, Stack trace: <Error> zkutil::EphemeralNodeHolder::~EphemeralNodeHolder(): Code: 999, e.displayText() = ZooKeeperImpl::Exception: Session expired (Session expired), e.what() = ZooKeeperImpl::Exception, Stack trace: <Warning> SrcViews..inner.ViewName1 (ReplicatedMergeTreeRestartingThread): ZooKeeper session has expired. Switching to a new session. <Error> SrcViews..inner.ViewName1 (StorageReplicatedMergeTree): void DB::StorageReplicatedMergeTree::queueUpdatingTask(): Code: 999, e.displayText() = ZooKeeperImpl::Exception: Session expired (Session expired), e.what() = ZooKeeperImpl::Exception, Stack trace: <Error> SrcViews..inner.ViewName2 (StorageReplicatedMergeTree): void DB::StorageReplicatedMergeTree::mutationsUpdatingTask(): Code: 999, e.displayText() = ZooKeeperImp l::Exception: Session expired (Session expired), e.what() = ZooKeeperImpl::Exception, Stack trace:

184 похожих чатов

Привет. столкнулся с потерей небольшой доли данных в материализованных вьюшках.

1 ответов

Похожие вопросы