Здравствуйте, у меня []byte огромный порядка 2-3Гб. Я знаю смещение

Question

Здравствуйте, у меня []byte огромный порядка 2-3Гб. Я знаю смещение

(символ) начиная с которого мне нужно обрезать определнные куски из этого []byte. Есть какой-то хороший способ чтобы всё это в памяти не копилось, а наоборот этот []byte потихоньку уменьшался моими вырезаниями кусков?

#backend #go #programming #russian

0

07.11.2020

12 ответов

19 просмотров

🅺🆁🅴🅻 🅰🅸🅵🅾🅻🅸🅽 Автор вопроса

Alexandr Sokolov
https://golang.org/pkg/io/#ReadSeeker ?

м? у меня уже байты лежат в памяти огромным куском. теперь пытаюсь отрезать кусочки от этого огромного блока. чтобы высвобождать память и последующий поиск по этому []byte занимал меньше времени.

0

07.11.2020

Alexandr Sokolov

🅺🆁🅴🅻 🅰🅸🅵🅾🅻🅸🅽
м? у меня уже байты лежат в памяти огромным куском...

Интересная у вас задача) Вы можете выделять новые слайсны нужного размера, и делать copy в них из изначального, после чего ибавиться от ссылки на основной слайс, и надеяться, что GC придет за ним

0

07.11.2020

🅺🆁🅴🅻 🅰🅸🅵🅾🅻🅸🅽 Автор вопроса

Alexandr Sokolov
Интересная у вас задача) Вы можете выделять новые ...

вот думал без выделения новых слайсов можно как-то. пытаюсь уместиться в свои 16 ГБ памяти и никак не получается нормально)))

0

07.11.2020

Roman Timofeev

🅺🆁🅴🅻 🅰🅸🅵🅾🅻🅸🅽
вот думал без выделения новых слайсов можно как-то...

как эти данные оказались в памяти?

0

07.11.2020

Alexandr Sokolov

🅺🆁🅴🅻 🅰🅸🅵🅾🅻🅸🅽
вот думал без выделения новых слайсов можно как-то...

Забудьте. Под капотом слайса массив -- сплошной блок памяти. Он очистится только полностью. Может и можно каким-то дичайшим хаком это сделать, но кажется, что это из разряда фантастики

0

07.11.2020

Alexandr Sokolov

Roman Timofeev
как эти данные оказались в памяти?

А вот это действительно очень хороший вопрос. В первую очередь я бы смотрел в эту сторону

0

07.11.2020

🅺🆁🅴🅻 🅰🅸🅵🅾🅻🅸🅽 Автор вопроса

Roman Timofeev
как эти данные оказались в памяти?

arr, err := func() ([]byte, error) { file, err := os.Open(*fileToRead) if err != nil { panic(err) } defer file.Close() return ioutil.ReadAll(file) }()

0

07.11.2020

Alexandr Sokolov

🅺🆁🅴🅻 🅰🅸🅵🅾🅻🅸🅽
arr, err := func() ([]byte, error) { file,...

Ну так ReadSeeker вам в помощь. Не нужно выгружать в память все

0

07.11.2020

Roman Timofeev

🅺🆁🅴🅻 🅰🅸🅵🅾🅻🅸🅽
arr, err := func() ([]byte, error) { file,...

не надо так

0

07.11.2020