размером ~20Gb? Данные изначально сохраняются тоже из Vec<u32>. Можно очень unsafe без проверок вообще, т.к. будут сохраняться/загружаться одним и тем же кодом, просто нужно сбросить дамп из памяти на время ребута скрипта.
Я читаю сейчас из текста числа (а-ля CSV), это работает где-то в 15 раз медленнее чем dd if=file of=/dev/null, поэтому хочется побыстрее.
bytemuck или каст\ *u32 в *u8 и создание из этого поинтера слайса
Напрямую из буфера OS читай
а кто туда доступ даст
https://en.wikipedia.org/wiki/Io_uring?wprov=sfti1
Тогда mmap
алигн не тот
так его можно заранее проверить
#[repr(C)] разве не заботится об этом?
алигн структуры равен максимальному алигну поля
Я бы еще накинул компрессию для целых чисел. Можешь посмотреть на какой нибудь super8-b и похожие методы. В типичной веб аналитике можно достигать где-то в 20 раз сжатие для последовательностей
О, сжатие это хорошая мысль. Только по запросу super8-b ничего не гуглится. Но может и обычный lz4 норм будет
MMF
ты ж наверное не об этом? https://lib.rs/crates/mmf
O_o а что заставляет lib.rs дописать [not recommended]?..
Обсуждают сегодня