Еще возник вопрос, зачем генерить ключ именно h[0:2] + h[2:4]

погодите, а как в minio тогда реализуется версионирование файлов? Допустим там всё реализовано примитивно file1.v1 file1.v2 ... file2.v1 ... но в чем собствннно проблема? Клиент выполняет запрос, ему в ответ отдается листинг. Или есть инфа, что сервер minio ложится если там листинг большой?

0

25.10.2023

Dmitry Sergeev 🇺🇦

Sergei Puzyrev
а оно и не ложится. ложится клиент.

да, но клиенту то, по задаче не нужен листинг с s3. Вот есть юзер, у него есть какое-то количество аватарок. Бэкенд в курсе под какими ключами он сохранил аватарки юзера в s3 и скорее всего даже держит эту инфу в базе. То есть задача листинга аватарок для юзера, вообще не сводится к запросу листинга в s3, а сводится к запросу к базе бэкенда - "вывести картинки юзера" Тем более ему предлагали хранить аватарки по схеме hash'а - h[0:2]/h[2:4]/h[4:6]/h в таком кейсе листинг вообще бесполезен, ведь нет смысла запрашивать h[0:2]/h[2:4]/h[4:6]/ - оно вернет просто список хешей, без какой-либо семантики То есть, я в треде совсем не догнал, причём вообще ls ab* и нафига делать листинги в ФС. Я допускаю что minio как-то не очень файлы там хранит, но вряд-ли же оно там делает ls ab* для листинга, допустим если листинг вдруг понадобился, но я полагаю что там реализация листинга явно лучше реализована, чем банальный ls по папке

0

25.10.2023

Sergei Puzyrev

Dmitry Sergeev 🇺🇦
да, но клиенту то, по задаче не нужен листинг с s3...

тут палка о двух концах. хранение стейта минио в файловой системе предполагает что люди будут пользоваться доступом к файловой системе для каких-то целей. например, делать бекап рсинком. или переносить с одной ноды на другую контент как-нибудь, как переносят контент постгреса, например. при этом минио может сгенерировать 100М файлов на этой файловой системе, что для большей части типичного тулинга около файловой системы будет многовато и болезненно.

0

25.10.2023

Dmitry Sergeev 🇺🇦

Sergei Puzyrev
тут палка о двух концах. хранение стейта минио в ...

а вы об эксплуатации. Всё понял. Но тут дело оперейшенов, надо minio изучать Но ваще странно что программист будет так задумываться так сильно в нюансы хранения в minio, мне кажется тут абстракции протекли чутка =)

0

25.10.2023

Sergei Puzyrev

Dmitry Sergeev 🇺🇦
а вы об эксплуатации. Всё понял. Но тут дело опере...

инженер думает обо всём проекте целиком.

0

25.10.2023

Dmitry Sergeev 🇺🇦 · Accepted Answer

Dmitry Sergeev 🇺🇦

возможно это пригодится, потому что в доках пишут Specifically, hardware using slower drives or network infrastructures tend to exhibit poor performance in buckets or prefixes with a flat hierarchy of objects Что плоская иерархия медленее работает, а такие пути тебе дадут более разветленную иерархи/

0

25.10.2023

169 похожих чатов

Еще возник вопрос, зачем генерить ключ именно h[0:2] + h[2:4]

13 ответов

Похожие вопросы