170 похожих чатов

Привет! Подскажите плиз правильно ли понимаю, что при перегонке файла

в с3 этот файл будете жить в хипе до следующей сборки мусора?

Принимаешь стрим с клиента и сразу же партиями кидаешь в с3. В таком кейсе байтбуфер, который создаешь будет жить до след сборки?

По графикам если грузишь 200мб файл, то и использование хипа растет тоже около 200 мб и потом со сборкой мусора подчищается

18 ответов

48 просмотров
Vlad K- Автор вопроса

Мультипарт и гпрс стрим

Vlad K
Мультипарт и гпрс стрим

ну мультипарт должен на диске лежаать, если ты стримом его потом читаешь

Vlad K- Автор вопроса
Alexandr ∨∧‾ Emelyanov
ну мультипарт должен на диске лежаать, если ты стр...

Принимать мультипарт в темп файл и темп файл перегонять в с3?

а ты буферами как читаешь? в цикле новый буфер?)

Ты, так или иначе, сохранишь мультипарт сначала на диск(после определенного трешхолда) и это правильно, так сделано везде. Но вот момент с тем, что ты стримишь по grpc в s3 я не совсем понял, у вас какой-то свой коннектор к s3?

Vlad K- Автор вопроса
Ilya Starchenko
Ты, так или иначе, сохранишь мультипарт сначала на...

Нет, в случае обеих ручек сохраняю в темп файл. Потом как тут Low-level api https://docs.aws.amazon.com/AmazonS3/latest/userguide/mpu-upload-object.html

Vlad K- Автор вопроса
Ilya Starchenko
А где grpc-то?:)

При приеме файла от клиента

Vlad K
При приеме файла от клиента

А, у вас там какой-то гейтвей, который далее стримит в твой сервис по grpc?

Vlad K- Автор вопроса

Угу, то же самое

Vlad K
Угу, то же самое

А откуда у тебя тогда bytebuffer появился?

Vlad K- Автор вопроса
Vlad K
При отправке в с3

Ну так передаешь inputStream от tmp-файла в putObject.

Похожие вопросы

Обсуждают сегодня

А как старый хаскел с новым стыковать ? потому как тут работает https://play.haskell.org/saved/C3xpMzcd, а вот тут https://stepik.org/lesson/7602/step/9?unit=1473 нет ошибка C...
Fedor
131
что насчет пагинга? на осдеве непонятно(
Vi Chapmann 🪙
26
Народ, кто шарит в расширенных разделах (EBR/EPR) на дисках с разметками MBR? Везде пишут (в вики рус/англ) в частности + другие источники смотрел, что первый сектор расширенн...
Eugene Krasnikov (ᴊɪɴ x)
1
Вопрос я правильно понимаю что в коде newtype ArrowMap k v = ArrowMap { getArrowMap :: k -> Maybe v } getArrowMap есть функция типа k -> Maybe v, если да, то не понимаю задач...
Fedor
64
Ребят, что лучше для реверса: гидра или ида?
En Vind Av Sorg
26
Делаю велосипед логгер. К сообщению хочу прикрутить некоторую информацию, типа, кем отправлено, какой уровень, и всякое такое. И тут подумалось мне, почему бы не хранить весь...
Serjone
24
Как Вы считаете нормально ли в двадцатых годах 21 века в ВУЗах Российской Федерации обучать студентов работе с TASM? Не слишком ли это "архаично"? (Если оффтоп или флейм для э...
Spiker01
52
Комрады, хотел уточнить. Проперть в OnDestroy юнита-хозяина по-прежнему доступна? И еще уточнение: finalization юнита наступает раньше или позже OnDestroy?
Ed Doc
48
Где-то есть статьи, как писать на OCaml после Kotlin (ну или похожей направленности)? Я привык к интерфейсам и наследованию классов, а здесь это выглядит совершенно не так.
Раскопки Майтрейи Коц
6
Продолжая диалог про свифт в проде – сейчас возник вопрос в активном наборе бекендеров. В основном в нашей компании мы фанаты Java Spring и полностью ей довольны. Однако найм ...
Guseyn
27
Карта сайта