Ребят, есть Цеф из 1 ноды, цель исключительно как помойка

для хранения ~900млн фотографий. Не могу нифига их туда залить, очень оно все медленное. Всего тут 40 x 4TB дисков и 2 x 4TB NVMe драйва, последние разбиты на 8 OSD каждый. Вот такие вот пулы есть, все replica x3:

1 device_health_metrics
2 .rgw.root
3 default.rgw.log
4 default.rgw.control
5 default.rgw.meta
8 default.rgw.data
9 default.rgw.buckets.index
10 default.rgw.buckets.data

PG у каждого пула 32 или 8, установлен дефолтным автоскейлером.

Все пулы расположены на NVMe OSD, кроме default.rgw.buckets.data.

Не устраивает низкая скорость записи объектов, она от силы 2МБ/сек. Какими настройками можно это ускорить? Может 32 PG на rgw.buckets.data это слишком мало? Я его увеличил до 512, но автоскейлер сразу же начал его скейлить назад до 64.

Я серьезно, хочется вот с цефом познакомиться

"есть Цеф из 1 ноды" тут ошибка )

Таких настроек нет, тут сначала доку по цефу читать надо, потом удалять однонодовое чудо

То есть если эти диски разделить на 3 ноды, то запись rgw будет быстрее? Ядер на этой одной ноде у меня хватает и еще много простаивает, памяти тоже много.

доку читайте ) Выше ответили.

Читал, не вижу никаких ограничений почему цефу нельзя работать на 1 ноде. Failure domain у меня на уровне OSD.

Работать он может на одной ноде, Другой вопрос, зачем?

PG очень мало, скейлер выруби накуй

Если не нужен листинг бакетов, то создай безиндексовый, а на нвме вынеси db+wal

blkmrkt
Ухх, короче я снова снес цеф и накатил zfs с логам...

а с какими параметрами-то hsbench и скрипты? там файлы какого размера, по 4 кб? хотя я даже не знаю, по-моему даже по 4 кб было бы быстрее

У меня тоже 20МБ/сек PUTы были когда бакет пустой, но скатывались к 2МБ/сек после 30М объектов примерно. Я разве что indexless бакет так и не попробовал, но индексы у меня были в nvme пуле...

во, с локалхоста в начале у меня 20 мб/сек

ну тебе нужно PG больше, 32 это пздц как мало и в это упирался с большой вероятностью

Угу я так и понял в самом конце, но уже не было сил бороться с автоскейлером, который нельзя даже было отключить

да можно его отключить, как это нельзя - в настройках пула

я через гуи mgr зашел в настройки, нашел autoscaler а он серым помечен типа изменить невозможно, ну думаю хватит

сам модуль mgr-а да, отключить невозможно, отключать надо в настройках пула

ГУИ - ? Это всё то нужно знать о "Юзабилити"

На зфс в вакууме? Я еще увеличивать параллельность не пробовал, наверняка он больше может

в каком ваккуме-то?

угу, создава пул вот так: sudo zpool create black raidz2 sdb sdc sdd sde sdf sdg sdh sdi sdj sdk sdl sdm sdn sdq sdr sds sdt sdu sdv sdw sdx sdy sdz sdaa sdab sdac sdad sdae sdaf sdag log mirror nvme0n1 nvme1n1

особо смысла нет, slog для синхронной записи, его хватит в пару гигов размером. Есть special dev, на нём мету можно хранить

классно, я потом оптан наверное приобрету и на него и мету и лог положу

у тебя 2 nvme, можно выкинуть их из пула, разделить на 2 раздела 5 Гб и остальное и из первых сделать slog, из вторых special

При помощи LVM/VG лучше их бить?

ой бля.

Кстати да

А что не так? 😳