Что бы быстро прочитать файл можно использовать memory mapped file

Question

Что бы быстро прочитать файл можно использовать memory mapped file

в память. Мне нужно максимально быстро задампить unordered map состоящий из структур в csv файл. Можно использовать ofstream но может есть более производительный метод ? На вооружении имеется c++ 20, Ubuntu 22.04

#c++ #embedded #programming #russian

0

18.05.2023

4 ответов

16 просмотров

Alexey Petrunyaka

Вместо ostream << на каждый член структуры использовать fmt/std format/format_to. И не забыть, что для вывода строк в csv нужен кастомный форматтер, чтобы искейпил двойные кавычки и спецсимволы внутри строк.

0

18.05.2023

Viktor Chyzhdzenka

У тебя всё упрется в скорость записи на диск. Теоретически все варианты, если явно не пессимизируешь, отработают одинаково. Кстати, примение какого алгоритма сжатия может всё ускорить, потому как собственно на диск нужно будет писать меньше. Мемори маппинг обычно юзают, когда файл не помещается в память весь и хотят по нему бегать окном и отдают это либе, что этот маппинг делает.

0

19.05.2023

Viktor Chyzhdzenka

Alexey Petrunyaka
Вместо ostream << на каждый член структуры использ...

Зачем так? Пробежаться по объекту, сложить его в область памяти, вызвать какой упаковщик и получившееся слить на диск - если правильно сделать, то для больших объемов может оказаться быстрее. на csv не обратил внимания, так что мой совет не подойдет, вероятнее всего. Тут два затыка - форматирование собственно строк и скорость записи их в файл на диск.

0

19.05.2023

Denis P · Accepted Answer

Denis P

так прочитать или задампить) пока ничего не понятно

0

18.05.2023

170 похожих чатов

Что бы быстро прочитать файл можно использовать memory mapped file

4 ответов

Похожие вопросы