Коллеги, разрешите немного провокационный вопрос) Есть потребность сделать очень большое хранилище

на Ceph (десятки петабайт), с высокой скоростью чтения и низкой скоростью записи (по сути файлы кладутся один раз, потом не меняются, но части могут считываться). Возникла крамольная мысль сделать это поверх рейдов 5 или 10 при условии что он будет очень быстрый и надежный (правилная настройка кэширования, ребилда без просадки скорости и т.п.). Минусы все понятны, я понимаю почему этот сценарий в общем случае не рекомендуется. Из плюсов - сверхнадежные OSD, практически не падающие, существенное снижение количества OSD => ребалансировок и т.п. Кто-то такие сценарии апробировал? Спасибо!

Вы же так еще больше места потеряете, избыточность в raid, а потом еще избыточность в ceph.

А как отдаваться будет?

Само блочное устройство osd может падать и не будет, но если упадет процесс, или хост, представляете, сколько времени на ребаланс может уйти? Дальше: r5 при выходе из строя накопителя проседает по производительности чтения в том числе, а когда идёт ребилд, то в целом по производительности

да, мы эти ключевые недостатки понимаем тут как раз и интересует вопрос соотношения как я понимаю, без RAID будет ооочень много OSD, и просадка любого диска по производительности - это автоматом просадка всей PG тут как раз и была крамольная мысль "вынести под капот" дополнительного слоя абстракции всякие накладки с отдельными дисками - при условии конечно, что рейд суперстабильный и быстрый, и ребалансировка не сильно просаживает (условно, идет не спеша фоном с низким процентом приоритета, плюс у нас нагрузка в основном ридонли) интересны практические результаты, если кто-то делал

если Вы организовываете фильмотеку каую-то, то как мне кажется, нормально вполне сделал на hdd + bcache/lvmcache на nvme, кэширование write-through и вполне нормально через rgw отдавать

Тогда не вижу смысла в bcache, кмк интереснее на фронте поставить кеш в виде nginx с ssd