170 похожих чатов

Подскажите как можно решить проблему Есть структура, которая в памяти занимает

порядка 1.3 Gb (фид)
Эту структуру нужно преобразовать в слайс байт и отдать на загрузку в s3 бакет
Преобразование в слайс байт делаю через bytes.Buffer{}, что сразу вызывает увеличение расхода ОЗУ в 2 раза, до 3Gb примерно. Из-за копирования данных.
s3 клиент для загрузки файла принимает интерфейс io.ReadSeeker

Может есть какие-то способы избавиться от копирования данных в этом случае?

7 ответов

12 просмотров

Если есть гарантия, что при передачи в с3 структура остаётся иммутабельной, можно реализовать ReadSeeker у самой структуры (либо сделать visitor)

а зачем там Seeker?

Roman K
Если есть гарантия, что при передачи в с3 структур...

о я так делал, симулировал iso-шник без его сборки)

Nikita-L Автор вопроса
Andrey Burov
а зачем там Seeker?

Без понятия, клиент s3 хочет

Andrey Burov
а зачем там Seeker?

для докачки, вероятно

Nikita L
Без понятия, клиент s3 хочет

https://pkg.go.dev/github.com/aws/aws-sdk-go/service/s3#hdr-Upload_Managers оно?

Nikita-L Автор вопроса
Andrey Burov
https://pkg.go.dev/github.com/aws/aws-sdk-go/servi...

Да, если быть точнее, то https://pkg.go.dev/github.com/aws/aws-sdk-go/service/s3#PutObjectInput

Похожие вопросы

Обсуждают сегодня

коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
А если изначально бот работал так : есть сайт онлайн школы. У каждого ученика свой кабинет. Где он авторизуется по своим данным. И уже в кабинете, на самом сайте делает оплату...
Денис 💡 Фрилансер
13
А что ты вообще делаешь ?
Yesgoter
13
На работе пишем распределенное приложение, у которого сотни, если не тысячи настроек. Конфиги написаны на xml, расположены на разных хостах и должны быть согласованы друг с др...
Aleksandr Druzhinin
5
Всем привет 🙂 Какая-то непонятная проблема у меня с видео, раньше такого не было. Загружаю видео с гугл диска именно в видео mp4 и меняю ссылку как положено вот она: https://d...
Ксюша|Верстка на Тильде|Дизайн 🦥
6
Добрый день Хочу начать обучение языку, не являюсь представителем it, буду благодарна за помощь, совсем пока не понимаю ничего) Подскажите, пожалуйста, где можно начать первы...
Sara Lala
18
средствами IBX как-то можно выполнить запрос insert ... returning?
Igor
31
Hi there everyone Is there anyone who have not started hamster bot yet? I need only one, I'll be glad if you do this for me DM if you haven't yet
Mehrshad
53
Подскажите, почему в правом коде с1 дополняется до 8байт, а не до 4?
Sergey
9
что это и почему оно? executor.start_polling(bot, skip_updates=True, on_startup=on_startup, File "/usr/local/lib/python3.10/dist-packages/aiogram/utils/executor.py", line 4...
𐌍𐌄 ᕓ𐌄𐌓𐌌Ꝋ𐌓𐌄
2
Карта сайта