184 похожих чатов

Добрый день. есть ли способ после копирования clickhouse-backup с сервера

на сервер долить дельту данных? Запись в источник продолжает идти.
Кто вообще как переносит нагруженные базы с одного сервера на другой [standalone, репликации нет] ?

13 ответов

12 просмотров

Возможно, это https://github.com/AlexAkulov/clickhouse-backup/blob/master/Examples.md#how-do-incremental-backups-work-to-remote-storage ответит на часть вопросов. Если в общих чертах, то парты в таблицах MergeTree иммутабельны, поэтому скопировать только новые парты достаточно.

самый простой способ с простоем стоп вставок, перенос данных на новый сервер через rsync, перенос вставки на новый сервер самый простой способ без простоя добавить zookeeper и вторую реплику, подожать пока данные отреплицируются если у вас были просто MergeTree то не получится, придется конвертировать в ReplicatedMergeTree https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-converting-mergetree-to-replicated/

Egor-Zagorskiy Автор вопроса
Slach [altinity]
самый простой способ с простоем стоп вставок, пере...

про репликацию да, ясно. а через clickhouse-backup долить инкрементально не удастся?

Egor Zagorskiy
про репликацию да, ясно. а через clickhouse-backup...

он для этого не предназначен у вас есть Materialized View?

rsync умеет diff доливать. просто на живой базе делаем rsync (работает например 300 часов) по завершению делаем еще раз rsync доливается diff (работает например 1 час) по завершению делаем еще раз rsync доливается diff (работает например 1 минуту) останавливаем живой КХ делаем еще раз rsync доливается diff (за секунду) стартуем новый КХ

Egor-Zagorskiy Автор вопроса
Denny [Altinity]
rsync умеет diff доливать. просто на живой базе де...

какие-нибудь хитрые опции рсинка нужны? типа --delete-after

Egor Zagorskiy
какие-нибудь хитрые опции рсинка нужны? типа --del...

rsync -rav --delete удалить все файлы в destination которых нет в источнике

Egor-Zagorskiy Автор вопроса
Denny [Altinity]
rsync умеет diff доливать. просто на живой базе де...

доброго утра. Делаю по вашей рекомендации и возник вопрос: а если мне не важен дифф последних N минут данных, можно обойтись без остановки живого КХ? Или данные, по которым долго делается рсинк с живого будут в неконсистентном состоянии и доливка после остановки обязательна?

Egor-Zagorskiy Автор вопроса

Похожие вопросы

Обсуждают сегодня

Сообщение* в закодированном виде. То есть, просто сделать sendMessage?text=Привет бла-бла! не получится, надо в HEX переводить, и добавлять процент, типа такого: sendMessage?t...
КТ315
21
А случайно нет ли в паскале штатной возможности передать указатель и количество туда где array of в качестве аргумента?
zamtmn
25
Anyone here suffers from unexplained aural migraines, who would be up for talking for a bit? Doesn't *have* to be aural, but I am not asking about headaches, I mean actual mi...
Martin Rys
58
Хм. А телеграм апи работают через HTTP?
The Bird of Hermes
14
Почему Telegram пишет, что объект media не найден, хотя на самом деле я его передаю? Делаю на urllib, без зависимостей, так надо. Вызываю метод sendMediaGroup с таким JSON: ...
Alexey S
1
Ну раз я пока тут, задам пару глупых вопросов. Зачем писать на ассемблере если компилятор довольно умный, а ассемблер много времени занимает? В каких прикладных задачах сейчас...
Максим Рябцев
20
Я тут за тем, чтобы задать вопрос, так как не знаю ассемблер, учу с/с++. Короче, насколько дорога операция перехода в функцию при ее вызове? Дело в том, что в с++ есть макросы...
Максим Рябцев
12
Привет, нужен совет старших товарищей. Есть глобальная переменная var DefaultDataFolder:string; инициализируем DefaultDataFolder:='a:\_OUT\'; есть примитивная процедур...
Max Otto
14
hello friends. Do you know how can I learn getx? I have a software project that I should deliver it up to 5 weeks later and I need to learn firebase too. I will be thankfull
AmirHossein Razavi
15
А какие чаты вообще в ходу? Auto aim? И что еше
do you think you're better off alone? А
13
Карта сайта