Привет У нас есть ReplicatedMergeTree, в которую очень часто писали забита replication_queue,

Question

Привет У нас есть ReplicatedMergeTree, в которую очень часто писали забита replication_queue,

там около миллиона записей, меньше не становится
мы переделали приложение, чтобы оно слало вставки батчами раз в 30 секунд, но не помогло
очередь не рассасывается
как её очистить? или как дождаться её очистки нормальным способом?

#backend #clickhouse #database #devops #programming #russian

0

22.06.2022

8 ответов

12 просмотров

Τεμούρ Ουζμπέκοβ Автор вопроса

Clir
Добрый день а что написано в reason? мб там ошибки...

а где посмотреть? у нас ошибка при вставке "Too many parts" - вы об этом?

0

22.06.2022

Clir

Τεμούρ Ουζμπέκοβ
а где посмотреть? у нас ошибка при вставке "Too ma...

в replication_queue есть поле reason вроде бы, и там описано в чем может быть проблема

0

22.06.2022

Clir

Τεμούρ Ουζμπέκοβ
а где посмотреть? у нас ошибка при вставке "Too ma...

ну а too many parts - это другая проблема, поищите по поиску в чате сообщения, уже много раз об этом писали)

0

22.06.2022

Τεμούρ Ουζμπέκοβ Автор вопроса

Clir
в replication_queue есть поле reason вроде бы, и т...

postpone_reason вижу но там это поле непустое только у старых записей, 2-недельной давности 2022-06-08 18:24:23,Not executing log entry for part 202206_5020315_5020333_2 because it is covered by part 202206_4943255_5020344_2780 that is currently executing 2022-06-08 18:24:24,Not merging into part 202206_5020345_5020365_1 because part 202206_5020365_5020365_0 is not ready yet (log entry for that part is being processed). 2022-06-08 18:24:22,Not executing log entry for part 202206_4943255_5020314_2779 because it is covered by part 202206_4943255_5020344_2780 that is currently executing 2022-06-08 18:24:23,Not executing log entry for part 202206_5020315_5020344_3 because it is covered by part 202206_4943255_5020344_2780 that is currently executing 2022-06-08 18:24:24,Not merging into part 202206_5020366_5020375_1 because part 202206_5020370_5020370_0 is not ready yet (log entry for that part is being processed). 2022-06-08 18:24:25,Not merging into part 202206_5020366_5020383_2 because part 202206_5020376_5020376_0 is not ready yet (log entry for that part is being processed). 2022-06-08 18:24:25,Not merging into part 202206_5020366_5020387_3 because part 202206_5020385_5020385_0 is not ready yet (log entry for that part is being processed). 2022-06-08 18:24:25,Not merging into part 202206_5020366_5020391_4 because part 202206_5020388_5020388_0 is not ready yet (log entry for that part is being processed). 2022-06-08 18:24:26,Not merging into part 202206_5020366_5020400_6 because part 202206_5020399_5020399_0 is not ready yet (log entry for that part is being processed). 2022-06-08 18:24:25,Not merging into part 202206_5020366_5020396_5 because part 202206_5020393_5020393_0 is not ready yet (log entry for that part is being processed).

0

22.06.2022

Clir

Τεμούρ Ουζμπέκοβ
postpone_reason вижу но там это поле непустое толь...

ну пробуйте сделать system restart replica db.table_name для той таблицы, у которой застряла очередь репликации. И смотрите уменьшается ли кол-во

0

22.06.2022

Τεμούρ Ουζμπέκοβ Автор вопроса

Clir
ну пробуйте сделать system restart replica db.tabl...

почему-то то 0, то 1028583 т.е. то число, которое было раньше queue_size в таблице system.replicas не меняется

0

22.06.2022