172 похожих чатов

Какой самый быстрый способ положить данные из файла в Vec<u32>

размером ~20Gb? Данные изначально сохраняются тоже из Vec<u32>. Можно очень unsafe без проверок вообще, т.к. будут сохраняться/загружаться одним и тем же кодом, просто нужно сбросить дамп из памяти на время ребута скрипта.
Я читаю сейчас из текста числа (а-ля CSV), это работает где-то в 15 раз медленнее чем dd if=file of=/dev/null, поэтому хочется побыстрее.

17 ответов

21 просмотр

bytemuck или каст\ *u32 в *u8 и создание из этого поинтера слайса

Напрямую из буфера OS читай

Пух
а кто туда доступ даст

https://en.wikipedia.org/wiki/Io_uring?wprov=sfti1

алигн не тот

Max Силинг
алигн не тот

так его можно заранее проверить

Max Силинг
алигн не тот

#[repr(C)] разве не заботится об этом?

Дмитрий ^
#[repr(C)] разве не заботится об этом?

алигн структуры равен максимальному алигну поля

Я бы еще накинул компрессию для целых чисел. Можешь посмотреть на какой нибудь super8-b и похожие методы. В типичной веб аналитике можно достигать где-то в 20 раз сжатие для последовательностей

Artem- Автор вопроса
Vladimir Zaytsev
Я бы еще накинул компрессию для целых чисел. Можеш...

О, сжатие это хорошая мысль. Только по запросу super8-b ничего не гуглится. Но может и обычный lz4 норм будет

MMF

Artem- Автор вопроса
Αλεχ Zhukovsky
MMF

ты ж наверное не об этом? https://lib.rs/crates/mmf

Artem
ты ж наверное не об этом? https://lib.rs/crates/mm...

O_o а что заставляет lib.rs дописать [not recommended]?..

Похожие вопросы

Обсуждают сегодня

а через ESC-код ?
Alexey Kulakov
29
30500 за редактор? )
Владимир
47
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
13
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
в JclConsole объявлено так: function CtrlHandler(CtrlType: DWORD): BOOL; stdcall; - где ваше объявление с stdcall? у вас на картинке нет stdcall
Karagy
8
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
Ребят в СИ можно реализовать ООП?
Николай
33
Вот еще странный косяк, подскажите как бороться. Я git clone сделал себе всего embassy и примеры там запускаю. Всё хорошо. Но вот решил в cargo.toml зависимости не как в приме...
Lukutin R2AJP
2
program test; {$mode delphi} procedure proc(v: int32); overload; begin end; procedure proc(v: int64); overload; begin end; var x: uint64; begin proc(x); end. Уж не знаю...
notme
6
Карта сайта