Всем привет! есть 3 реплики, есть реплицируемая таблица в которой

Question

Всем привет! есть 3 реплики, есть реплицируемая таблица в которой

имеется ттл на одном из полей, почему-то на одной из реплик перестали удаляться истекшие данные, можно как-то заставить кликхауз перепроверить ттл и удалить данные у которых ттл истек?

#backend #clickhouse #database #devops #programming #russian

0

12.05.2023

14 ответов

18 просмотров

Roman Ivanov Автор вопроса

Denny [Altinity]
Не понятно как такое возможно. Ttl мержер назначае...

вот и нам не очень понятно, но факт есть факт, репликация ок, а разница между таблицами есть

0

12.05.2023

Denny [Altinity]

Roman Ivanov
вот и нам не очень понятно, но факт есть факт, реп...

everybody lies

0

12.05.2023

Roman Ivanov Автор вопроса

Коллеги привет! Помогите пожалуйста разобратсья в ситуации. Пробовали пересоздавать таблицу, после репликации все ок, статус репликации ок, но спустя несколько дней смотришь данные на 2х репликах -10 дней - данных нет, на 3й данные не очистились

0

22.05.2023

Denny [Altinity]

Roman Ivanov
Коллеги привет! Помогите пожалуйста разобратсья в ...

replicated таблица?

0

22.05.2023

Roman Ivanov Автор вопроса

Denny [Altinity]
replicated таблица?

да

0

22.05.2023

Denny [Altinity]

Roman Ivanov
да

есть replicated с TTL и 3 реплики. периодически срабатывает TTL check и обнаруживает что надо мержить одна из реплик успевает первой создать в зукипере задание на мерж, и она же двигает LogPointer ("эпоха" replicated таблицы) все реплики включая ту которая создала, берут задание на мерж и зукипера и начинают мержить и делают одно и тоже в результате какая-то из реплик успевает первой и контрольную сумму результата мержа кладет в зукипер все остальные реплики в конце начинают сравнивать результат (контр. сумму) с эталоном если контр. сумма не совпадает они начинают мерж заново, через 3 попытки сдаются и скачивают парт с эталонной контр. суммой если реплика не читает задания и не двигает свой LogPointer, репликация вообще не работает, реплика не может пропустить мерж, у не совпадет набор партов в дальнейшем. контр. суммы тоже должны совпадать, их можно увидеть в system.parts

0

22.05.2023

Roman Ivanov Автор вопроса

Denny [Altinity]
есть replicated с TTL и 3 реплики. периодически с...

на двух верных репликах: name,hash_of_all_files 20230512_0_118720_963,984ed72ce493ad9b48b66f1337623ada на кривой 20230512_0_10560_6,012786893b1d06ac5a0402ca4f8354b7 получается репликация сейчас не работает?

0

22.05.2023

Denny [Altinity]

Roman Ivanov
на двух верных репликах: name,hash_of_all_files 20...

я думаю это разные шарды select zookeeper_path, cityHash64(zookeeper_path) from system.replicas where table = ....

0

22.05.2023

Roman Ivanov Автор вопроса

Denny [Altinity]
я думаю это разные шарды select zookeeper_path, c...

шард 1, этот запрос возвращает одинаковые результаты на всех репликах

0

22.05.2023

Denny [Altinity]

Roman Ivanov
шард 1, этот запрос возвращает одинаковые результа...

select * from system.replication_queue с третьей

0

22.05.2023

Roman Ivanov Автор вопроса

Denny [Altinity]
select * from system.replication_queue с третьей

да я уже добрался до этого, и вот с таким postpone_reason там висят задания Not executing log entry queue-0000005237 for part 20230501_107605_107605_1 because 2 merges with TTL already executing, maximum 2.

0

22.05.2023

Denny [Altinity]

Roman Ivanov
да я уже добрался до этого, и вот с таким postpone...

create_date

0

22.05.2023

Roman Ivanov Автор вопроса

Denny [Altinity]
create_date

2023-05-16 это дата пересоздания таблицы

0

22.05.2023