172 похожих чатов

Если сформулировать это по нормальному не можете, то просто напишите,

что будете делать с файлами. Просто отдавать статику? Много читать большими пачками для обучения нейронок? Много писать? Будут ли изменения данных?

13 ответов

27 просмотров

кэш артефактов сборки. размеры разнородные, от 0 (stdout/stderr например нулевые), до гигабайтов (образы докер)

Wild_Wind- Автор вопроса
Andrey Kartashov
кэш артефактов сборки. размеры разнородные, от 0 (...

Используй s3. Отлично подходит для этого. Сервера свои или виртуалки/k8s арендуемый?

Wild_Wind- Автор вопроса
Andrey Kartashov
медленно очень

Что медленно? Скорость загрузки? Скорость выгрузки? Задержка между запросом и началом загрузки? На каком s3? Ceph? Minio? Seaweedfs? На каких дисках? Если Ceph, то пробавали ли tier кеш добавить для rgw? Если не на своих серверах, а на внешнем ресурсе, то какой сервис провайдер, какой тариф и какая сеть между вами?

Wild_Wind
Что медленно? Скорость загрузки? Скорость выгрузки...

если честно, не пробовал, но думаю будет медленнее по сравнению с файлами

Wild_Wind- Автор вопроса
Andrey Kartashov
если честно, не пробовал, но думаю будет медленнее...

А вот думать тут не надо. Надо подробности говорить. А подробностей нет. Откуда поступают данные? Куда? Сервера ваши или облако чье-то? Больше читаются или пишутся?

Wild_Wind
А вот думать тут не надо. Надо подробности говорит...

про контент сказал. Данные поступают по сети. Это кэш, преимущественно чтение, но скорость записи тоже важна

Wild_Wind- Автор вопроса
Andrey Kartashov
про контент сказал. Данные поступают по сети. Это ...

Ну тогда свой s3 на своих серверах на ssd. Будет high avability и достаточно быстро. Minio кривой и не безопасный, ceph огромный монстр и медленный, берите Seaweedfs и радуйтесь жизни. На своих серверах.

Wild_Wind
Ну тогда свой s3 на своих серверах на ssd. Будет h...

распределённое хранилище не нужно. данные хранятся локально. можно считать, что это свой сервер и у него есть свой быстрый ssd

Pablo K
Свой быстрый ssd на 16+ TB?

нет, там ~0.5 TB. Впереди стоит прослойка, которая шардированием занимается

Wild_Wind- Автор вопроса
Andrey Kartashov
распределённое хранилище не нужно. данные хранятся...

Я бы взял btrfs и настроил ей кеширование. Сильно сомневаюсь, что база будет эффективнее, т.к. основная нагрузка - чтение.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Гайс, вопрос для разносторонее развитых: читаю стрим с юарта, нада выделять с него фреймы с определенной структурой, если ли чо готовое, или долбаться с ринг буффером? нада у...
Vitaly
9
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
длина пакета фиксированная, или меняется?
Okhsunrog
7
Карта сайта