Всем привет! Есть кто-то, кто пользуется clickhouse-backup? Кейс следующий: делаю бэкап

Question

Всем привет! Есть кто-то, кто пользуется clickhouse-backup? Кейс следующий: делаю бэкап

одной базы с прода с флагом -s (только схема - без данных) в удаленное хранилище s3, после чего на тесте восстанавливаю его из удаленного хранилища. На этапе загрузки на тестовый сервер бэкапа из s3 последняя строчка вещает:
2022/01/24 14:24:20 info done backup=clickhouse_dump_2022-01-24_14:05 duration=5.907s operation=download size=292.44GiB
и довольно долго на ней висит, но потом всё корректно завершается.
при этом list выводит тоже странные данные об этом бэкапе:

на проде всё ок (где он создался и выгрзился в хранилище):
clickhouse_dump_2022-01-24_14:05 1.20MiB 24/01/2022 11:05:20 local
clickhouse_dump_2022-01-24_14:05 1.20MiB 24/01/2022 11:05:43 remote tar

и на тесте (где он загружался как раз из хранилища):
clickhouse_dump_2022-01-24_14:05 292.44GiB 24/01/2022 11:05:20 local
clickhouse_dump_2022-01-24_14:05 1.20MiB 24/01/2022 11:05:43 remote tar

#backend #clickhouse #database #devops #programming #russian

0

24.01.2022

5 ответов

8 просмотров

Артем Сафиюлин Автор вопроса

Slach [altinity]
у вас в s3 всего 1 бекап или больше? какая верси...

в s3 сейчас лежит 2 бэкапа, вот вывод с прода: root@clickhouse01:/home/artem.safiyulin# clickhouse-backup list clickhouse_dump_2022-01-21 1.20MiB 21/01/2022 13:24:32 local clickhouse_dump_2022-01-24_14:05 1.20MiB 24/01/2022 11:05:20 local clickhouse_dump_2022-01-21 1.20MiB 21/01/2022 13:24:47 remote tar clickhouse_dump_2022-01-24_14:05 1.20MiB 24/01/2022 11:05:43 remote tar clickhouse-backup версия: root@clickhouse01:/home/artem.safiyulin# clickhouse-backup -v Version: 1.2.2 Git Commit: 09d6131b6a44e8881db7cc99aa4e5c7ce263afc3 Build Date: 2021-11-26 Выгрузил именно схему, как можете видеть выше, на сервере где создается и выгружается бэкап он корректно показывает данные, проблема только если скачать из хранилища бэкап. в metadata.json вот вывод что лежит { "backup_name": "clickhouse_dump_2022-01-24_14:05", "disks": { "default": "/var/lib/clickhouse/" }, "version": "1.2.2", "creation_date": "2022-01-24T11:05:20.574766944Z", "clickhouse_version": "v21.8.5.7-stable", "metadata_size": 1262771, "databases": [ дальше не стал вставлять там перечисление 1000 таблиц. /var/lib/clickhouse/backup/clickhouse_dump_2022-01-24_14:05/shadow - этой папки нету, она создается только когда с данными бэкап делать, я только схему выгружал. Постарался всё описать, если чего то недостаточно говорите. Спасибо за помощь.

0

24.01.2022

Slach [altinity]

Артем Сафиюлин
в s3 сейчас лежит 2 бэкапа, вот вывод с прода: roo...

посмотрите кроме databases в этом json должен быть еще "data_size" он там есть?

0

24.01.2022

Артем Сафиюлин Автор вопроса

Slach [altinity]
посмотрите кроме databases в этом json должен быть...

нет, такого поля нету, полагаю по той же причине - потому что только схему выгружал

0

24.01.2022

Slach [altinity]

Артем Сафиюлин
нет, такого поля нету, полагаю по той же причине -...

просто очень странно что оно показвыает на staging 120 гигов вместо 1.2 мегабайта вы metadata.json на staging смотрите или где?

0

24.01.2022

Slach [altinity] · Accepted Answer

у вас в s3 всего 1 бекап или больше? какая версия clickhouse-backup? странно что при --schema он у вас 240 гигов данных показывает в local на тест уверены что именно схему выгрузили? а что лежит в /var/lib/clickhouse/backup/clickhouse_dump_2022-01-24_14:05/metdata.json ? можете расшарить? и есть ли что нибудь в /var/lib/clickhouse/backup/clickhouse_dump_2022-01-24_14:05/shadow ?

184 похожих чатов

Всем привет! Есть кто-то, кто пользуется clickhouse-backup? Кейс следующий: делаю бэкап

5 ответов

Похожие вопросы