170 похожих чатов

Подскажите как можно решить проблему Есть структура, которая в памяти занимает

порядка 1.3 Gb (фид)
Эту структуру нужно преобразовать в слайс байт и отдать на загрузку в s3 бакет
Преобразование в слайс байт делаю через bytes.Buffer{}, что сразу вызывает увеличение расхода ОЗУ в 2 раза, до 3Gb примерно. Из-за копирования данных.
s3 клиент для загрузки файла принимает интерфейс io.ReadSeeker

Может есть какие-то способы избавиться от копирования данных в этом случае?

7 ответов

13 просмотров

Если есть гарантия, что при передачи в с3 структура остаётся иммутабельной, можно реализовать ReadSeeker у самой структуры (либо сделать visitor)

а зачем там Seeker?

Roman K
Если есть гарантия, что при передачи в с3 структур...

о я так делал, симулировал iso-шник без его сборки)

Nikita-L Автор вопроса
Andrey Burov
а зачем там Seeker?

Без понятия, клиент s3 хочет

Andrey Burov
а зачем там Seeker?

для докачки, вероятно

Nikita L
Без понятия, клиент s3 хочет

https://pkg.go.dev/github.com/aws/aws-sdk-go/service/s3#hdr-Upload_Managers оно?

Nikita-L Автор вопроса
Andrey Burov
https://pkg.go.dev/github.com/aws/aws-sdk-go/servi...

Да, если быть точнее, то https://pkg.go.dev/github.com/aws/aws-sdk-go/service/s3#PutObjectInput

Похожие вопросы

Обсуждают сегодня

Кстати, а я вот тут подумал. Допустим, у нас имеется цикл который выполняет огромное количество итераций, но мы хотим, чтобы какие-то действия исполнилось только один раз. В Я...
The Bird of Hermes
23
Доброй ночи. Вопрос знатокам. Имеется некая таблица, результат которой выведен в DBGrid на форме. И есть форма, с помощью которой можно как добавить запись, так и отредактиров...
Евгений
28
а всё почему? потому что ассемблер в отличии от яву порождает множество пагубных привычек, среди которых например можно отметить использование глобальных переменных для всего ...
Mixail Frolov
35
анрей С какой целью зашёл?
КТ315
42
я часов 15 назад начал пытаться написать хоть что-то напоминающее ос и у меня есть проблема, которую я пытаюсь решить последние часов 5: есть крч 2 исходника с минимальным код...
Al1to
17
@not_fajox С какой целью зашёл?
КТ315
9
Короче получается только кнопки не поменять А кнопки вроде тоже слетают при редактировании не?
inc.
10
Кто нибудь из участников чата пишет на ассемблере под GNU/Linux?
Spiker01
24
коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
Всем привет ребят! Мб кто-то сталкивался? adminСomponents .get("searchСomponents", use: searchComponents) .openAPI( summary: ...
Admin Adminov
2
Карта сайта