Какой самый быстрый способ положить данные из файла в Vec<u32>

Question

Какой самый быстрый способ положить данные из файла в Vec<u32>

размером ~20Gb? Данные изначально сохраняются тоже из Vec<u32>. Можно очень unsafe без проверок вообще, т.к. будут сохраняться/загружаться одним и тем же кодом, просто нужно сбросить дамп из памяти на время ребута скрипта.
Я читаю сейчас из текста числа (а-ля CSV), это работает где-то в 15 раз медленнее чем dd if=file of=/dev/null, поэтому хочется побыстрее.

#backend #embedded #programming #russian #rust

0

01.10.2023

17 ответов

23 просмотра

Vladimir Zaytsev

Напрямую из буфера OS читай

0

01.10.2023

Пух

Vladimir Zaytsev
Напрямую из буфера OS читай

а кто туда доступ даст

0

01.10.2023

Vladimir Zaytsev

Пух
а кто туда доступ даст

https://en.wikipedia.org/wiki/Io_uring?wprov=sfti1

0

01.10.2023

Victor

Vladimir Zaytsev
https://en.wikipedia.org/wiki/Io_uring?wprov=sfti1

Ох тяжело с ним

0

01.10.2023

Vladimir Zaytsev

Victor
Ох тяжело с ним

Тогда mmap

0

01.10.2023

Max Силинг

алигн не тот

0

01.10.2023

Mikail Bagishov

Max Силинг
алигн не тот

так его можно заранее проверить

0

01.10.2023

Дмитрий ^

Max Силинг
алигн не тот

#[repr(C)] разве не заботится об этом?

0

01.10.2023

Max Силинг

Дмитрий ^
#[repr(C)] разве не заботится об этом?

алигн структуры равен максимальному алигну поля

0

01.10.2023

Vladimir Zaytsev

Я бы еще накинул компрессию для целых чисел. Можешь посмотреть на какой нибудь super8-b и похожие методы. В типичной веб аналитике можно достигать где-то в 20 раз сжатие для последовательностей

0

01.10.2023

Artem Автор вопроса

Vladimir Zaytsev
Я бы еще накинул компрессию для целых чисел. Можеш...

О, сжатие это хорошая мысль. Только по запросу super8-b ничего не гуглится. Но может и обычный lz4 норм будет

0

01.10.2023

Vladimir Zaytsev

Artem
О, сжатие это хорошая мысль. Только по запросу sup...

zstd

0

01.10.2023