170 похожих чатов

Всем привет! Сталкивался кто-то с обработкой большого буфера (200+м)? Проблема

такая - нужна обаработка бинарных данных больших обьемов. Есть стрим, из которого идут бинарные данные, данным может быть очень много 3-5гб. Buffer нет возможности .atach данных, т.к. обьем входящих не известен. Buffer.concat - очень плохо, идет копирование области памяти, что занимает много ресурсов. DataView - отличный доступ по getFloat32, getFloat64, getUint32 , но опять проблема - нет расширения. Uint8Array - аналогичная ситуация, нет возможности разширить, либо делать копирование памяти. String - проблема с бинарным доступом

7 ответов

28 просмотров

Не совсем понятно, обработка тоже потоковая? Если нет, то возможно подойдёт вариант пушить чанки в обычный массив, а затем Buffer.concat(chunks)

Dolgovec- Автор вопроса

Потоковость не важна, про concat описывал выше - так и делаю, но ОЧЕНЬ много занимает ресурсов, т.к. идет копирование памяти

Странно, а вы сoncat вызываете один раз, или каждый раз когда чанк из стрима прилетает?

https://nodejs.org/api/buffer.html#buffer_static_method_buffer_from_arraybuffer_byteoffset_length

Dolgovec- Автор вопроса

Атачей идет очень много. Например, идет 10к блоков объектов, каждый допустим по 100кб, потом идет 1к блоков текстур, каждый по 5-20мб

Dolgovec- Автор вопроса

Есть еще у кого-то предложения как это сделать может?

Если не устраивает вариант, который предлагали (складывать в массив), можно написать код на плюсах

Похожие вопросы

Обсуждают сегодня

Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
Чтобы перехватить все нажимания буков на форме, надо хук ставить? Пробовал на форме ОнКейДаун, оно ловит клаву если фокус не на компоненте с вводом текста
Serjone
15
лучше скажите, причём тут паскаль?
Alexey Kulakov
36
Всем привет! вывожу на общей стр дочерние ресурсыв каждом ресурсе галерея, и первая фотка должна выводиться на общей [!DocLister? &prepare=photo !]
Alekso
12
А можно вопрос? Мне сегодня сказали что у меня функция (которая просто заполняет массив значениями) не правильная void Full(double * arr, int n) { for (int i = 0; i < n; i...
† C E †
7
День добрый, подскажите пожалуйста, есть ли какой-то способ сказать ребару не компилировать определённое приложение? Всю доку их перечиатл ничего подобного не нашёл
Кирилл
14
Добрый вечер. Хочу чтобы у меня в классе поле было функцией, которая возвращает строку. Делаю так: interface ... TGetOutPath = function : String of object; ... protec...
Kirill Filippenok
12
Народ! Впервые клиенту пришло письмо от РКН, у вас, дескать, есть яндекс метрика, а нигде не написано, что вы ее юзаете. Никто не сталкивался?
Sasha Beep
10
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Здравствуйте, хочу сделать HelloWorld в консоли Дельфи, но функция API ничего не выводит, что я делаю не так? program Hello; {$APPTYPE CONSOLE} uses System.SysUtils, WinAPI.Wi...
Sergey Vinogradov
20
Карта сайта