что будете делать с файлами. Просто отдавать статику? Много читать большими пачками для обучения нейронок? Много писать? Будут ли изменения данных?
кэш артефактов сборки. размеры разнородные, от 0 (stdout/stderr например нулевые), до гигабайтов (образы докер)
Используй s3. Отлично подходит для этого. Сервера свои или виртуалки/k8s арендуемый?
Что медленно? Скорость загрузки? Скорость выгрузки? Задержка между запросом и началом загрузки? На каком s3? Ceph? Minio? Seaweedfs? На каких дисках? Если Ceph, то пробавали ли tier кеш добавить для rgw? Если не на своих серверах, а на внешнем ресурсе, то какой сервис провайдер, какой тариф и какая сеть между вами?
если честно, не пробовал, но думаю будет медленнее по сравнению с файлами
А вот думать тут не надо. Надо подробности говорить. А подробностей нет. Откуда поступают данные? Куда? Сервера ваши или облако чье-то? Больше читаются или пишутся?
про контент сказал. Данные поступают по сети. Это кэш, преимущественно чтение, но скорость записи тоже важна
Ну тогда свой s3 на своих серверах на ssd. Будет high avability и достаточно быстро. Minio кривой и не безопасный, ceph огромный монстр и медленный, берите Seaweedfs и радуйтесь жизни. На своих серверах.
распределённое хранилище не нужно. данные хранятся локально. можно считать, что это свой сервер и у него есть свой быстрый ssd
Свой быстрый ssd на 16+ TB?
нет, там ~0.5 TB. Впереди стоит прослойка, которая шардированием занимается
Я бы взял btrfs и настроил ей кеширование. Сильно сомневаюсь, что база будет эффективнее, т.к. основная нагрузка - чтение.
Обсуждают сегодня