Привет, а кто-нибудь clickhouse-backup юзает в s3? он по памяти

течет, как-то с этим можно бороться?

какая версия clickhouse-backup? сколько ядер на машине? какой конфиг для бекапа в части S3_PART_SIZE меняли что нибудь?

1.2.2, 24 ядра, part_size: 367001600

part_size из конфига вообще уберите он автоматом сейчас рассчитывается у вас получается 12*367 001 600 байт аллоцируется в aws-sdk

Но жрет 30-40гб, а не 4

S3_CONCURRENCY тоже 12 12*12*350 мегабайт

спс, а чтобы сам расчитался, надо max_file_size указать?

да, там криво достаточно сейчас к сожалению руки не доходят до конца довести ну либо просто снизьте S3_PART_SIZE с 300 мегабайт, до 10 и S3_CONCURRENCY=3 например поставьте

спс, мои кривые глаза еще где-то в issues видели, что zstd compression вместо gzip в несколько раз потребление памяти снижают, стоит юзать zstd?

мы используем только осторожнее там при восстановлении настройки должны быть теже самые компрессии что и при создании бекапа и это тоже пока не вылечено

а 10к партов upload, это лимит на 1 файл?

Привет, 1.3.1 ест 30-40 гигов, s3: part_size: 91750400 concurrency: 4 compression_level: 1 compression_format: zstd

part_size: 1000000 сделайте зачем такой гигантский там буферов будет немерянно...

это в байтах?

строку с part_size можно просто убрать

max_file_size не указан в конфиге, он ща норм вычислит?

это в байтах, уберите ее, сейчас там есть код который автоматом расчитывает s3_concurrency когда большой тоже можно меньше сделать 1.3.x по партам грузит, так что max_file_size в general секции какой? если переопределяли, тоже уберите, там есть дефолтное значение в коде

спс, ща попробуем

с памятью все ок, но он пыхтел пыхтел и курит сейчас [pid 9207] futex(0xc000101150, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...> [pid 9206] futex(0xc0006c0d50, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...> [pid 9205] futex(0xc000100950, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...> [pid 9204] futex(0xc000412950, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...> [pid 9203] futex(0xc0006c0550, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...> [pid 9202] futex(0xc000780150, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...> [pid 9201] futex(0xc000700150, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...> [pid 9200] epoll_pwait(3, [], 128, 0, NULL, 140730483380352) = 0 [pid 9200] epoll_pwait(3, <unfinished ...> [pid 9199] futex(0xc00009bd50, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...> [pid 9198] futex(0xc000412150, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...> [pid 9197] futex(0xc00009ad50, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...> [pid 9196] futex(0xc000100150, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...> [pid 9195] futex(0xc00009a950, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...> [pid 9194] futex(0xc00009a550, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...> [pid 9193] restart_syscall(<... resuming interrupted futex ...> <unfinished ...> [pid 9192] futex(0x1e3a8d0, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...> [pid 9200] <... epoll_pwait resumed> [], 128, 129, NULL, 47172935058128467) = 0 [pid 9200] epoll_pwait(3, [], 128, 0, NULL, 140730483380352) = 0 [pid 9200] epoll_pwait(3, <unfinished ...> [pid 9193] <... restart_syscall resumed> ) = -1 ETIMEDOUT (Connection timed out) [pid 9193] nanosleep({tv_sec=0, tv_nsec=10000000}, <unfinished ...> [pid 9200] <... epoll_pwait resumed> [], 128, 1, NULL, 47172935058128467) = 0 [pid 9200] epoll_pwait(3, [], 128, 0, NULL, 140730483380352) = 0 [pid 9200] futex(0xc0251fe150, FUTEX_WAKE_PRIVATE, 1 <unfinished ...> [pid 9456] <... futex resumed> ) = 0

у вас s3 бекенд? или swift?

можете вот сюда https://github.com/AlexAkulov/clickhouse-backup/issues/404 расшарить результаты clickhouse-backup print-config LOG_LEVEL=debug clickhouse-backup upload backup-name ?

s3, ща конфиг кину, логи придется ждать

кинул конфиг

=(( блин, очень плохо что у вас виснет 1.3.1 я не понимаю почему это происходит =( попробуйте откатиться на altinity/clickhouse-backup:1.2.4

а в 1.2.4 нет проблем с diff-backup и с подсчетом part_size?

в 1.2.4 —diff-from-remote нет как класса, и download качает всю последовательность required бекапов целиком, если бекап инкрементальный и да, там если max_file_size и part_size убраны, просто будет создан один архив на один диск в одной таблице

возможно проблема на тачке железная, вижу ecc память фиксит

не знаю, но cephs3-front-1 это не s3 это s3 compatible storage возможно дело в нем и какой то несовместимостью ... непонятно