172 похожих чатов

Если сформулировать это по нормальному не можете, то просто напишите,

что будете делать с файлами. Просто отдавать статику? Много читать большими пачками для обучения нейронок? Много писать? Будут ли изменения данных?

13 ответов

9 просмотров

кэш артефактов сборки. размеры разнородные, от 0 (stdout/stderr например нулевые), до гигабайтов (образы докер)

Wild_Wind- Автор вопроса
Andrey Kartashov
кэш артефактов сборки. размеры разнородные, от 0 (...

Используй s3. Отлично подходит для этого. Сервера свои или виртуалки/k8s арендуемый?

Wild_Wind- Автор вопроса
Andrey Kartashov
медленно очень

Что медленно? Скорость загрузки? Скорость выгрузки? Задержка между запросом и началом загрузки? На каком s3? Ceph? Minio? Seaweedfs? На каких дисках? Если Ceph, то пробавали ли tier кеш добавить для rgw? Если не на своих серверах, а на внешнем ресурсе, то какой сервис провайдер, какой тариф и какая сеть между вами?

Wild_Wind
Что медленно? Скорость загрузки? Скорость выгрузки...

если честно, не пробовал, но думаю будет медленнее по сравнению с файлами

Wild_Wind- Автор вопроса
Andrey Kartashov
если честно, не пробовал, но думаю будет медленнее...

А вот думать тут не надо. Надо подробности говорить. А подробностей нет. Откуда поступают данные? Куда? Сервера ваши или облако чье-то? Больше читаются или пишутся?

Wild_Wind
А вот думать тут не надо. Надо подробности говорит...

про контент сказал. Данные поступают по сети. Это кэш, преимущественно чтение, но скорость записи тоже важна

Wild_Wind- Автор вопроса
Andrey Kartashov
про контент сказал. Данные поступают по сети. Это ...

Ну тогда свой s3 на своих серверах на ssd. Будет high avability и достаточно быстро. Minio кривой и не безопасный, ceph огромный монстр и медленный, берите Seaweedfs и радуйтесь жизни. На своих серверах.

Wild_Wind
Ну тогда свой s3 на своих серверах на ssd. Будет h...

распределённое хранилище не нужно. данные хранятся локально. можно считать, что это свой сервер и у него есть свой быстрый ssd

Pablo K
Свой быстрый ssd на 16+ TB?

нет, там ~0.5 TB. Впереди стоит прослойка, которая шардированием занимается

Wild_Wind- Автор вопроса
Andrey Kartashov
распределённое хранилище не нужно. данные хранятся...

Я бы взял btrfs и настроил ей кеширование. Сильно сомневаюсь, что база будет эффективнее, т.к. основная нагрузка - чтение.

Похожие вопросы

Обсуждают сегодня

Anyone here suffers from unexplained aural migraines, who would be up for talking for a bit? Doesn't *have* to be aural, but I am not asking about headaches, I mean actual mi...
Martin Rys
55
Всем здравствуйте!) У меня такой вопрос. Есть два роута, роут1 и роут2. Они связаны с очередью some_queue. По задаче предполагается, что есть два паблиша. Паблиш1 отправляет...
Format
10
Вопрос по WIN32: Насколько я понимаю то все функции win32 привязаны к объектам операционной системы. Например консоль, файл, кисть, окна итд. Следовательно функции win32 упра...
Tommy Vercetti
6
подскажите пожалуйста, как мне освободить результат записанный в переменную result? в чем проблема подскажите если МОЖЕТЕ?
Михаил Helper
28
кто-то пользуется компонентами rx ? как их лучше ставить, через OPM? (lazarus)
Iluha Companets
15
Hello, can I install macOS and run flutter on a virtual machine? Is it possible to print for iphone?
Mazones
11
Дороу! У кого-нибудь есть в загашнике проверенная функция экранирования, аналог re.escape в Python? Из доки: » Escape all the characters in pattern except ASCII letters and n...
Daniil Smolyakov
9
В смысле более затратная? Общая стоимость владения лошадью меньше, чем автомобиля. В среднем.
Sergej R
10
есть тут кто-то , кто только начал изучать си? если проходите курс на степике или как-то сами изучаете, пишите, может, скооперируемся?..
Eule
25
я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
Карта сайта