170 похожих чатов

Что бы быстро прочитать файл можно использовать memory mapped file

в память. Мне нужно максимально быстро задампить unordered map состоящий из структур в csv файл. Можно использовать ofstream но может есть более производительный метод ? На вооружении имеется c++ 20, Ubuntu 22.04

4 ответов

14 просмотров

так прочитать или задампить) пока ничего не понятно

Вместо ostream << на каждый член структуры использовать fmt/std format/format_to. И не забыть, что для вывода строк в csv нужен кастомный форматтер, чтобы искейпил двойные кавычки и спецсимволы внутри строк.

У тебя всё упрется в скорость записи на диск. Теоретически все варианты, если явно не пессимизируешь, отработают одинаково. Кстати, примение какого алгоритма сжатия может всё ускорить, потому как собственно на диск нужно будет писать меньше. Мемори маппинг обычно юзают, когда файл не помещается в память весь и хотят по нему бегать окном и отдают это либе, что этот маппинг делает.

Alexey Petrunyaka
Вместо ostream << на каждый член структуры использ...

Зачем так? Пробежаться по объекту, сложить его в область памяти, вызвать какой упаковщик и получившееся слить на диск - если правильно сделать, то для больших объемов может оказаться быстрее. на csv не обратил внимания, так что мой совет не подойдет, вероятнее всего. Тут два затыка - форматирование собственно строк и скорость записи их в файл на диск.

Похожие вопросы

Обсуждают сегодня

30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
Как передать управляющий символ в открытую через CreateProcess консоль? Собсна, есть процедура: procedure TRedirectThread.WriteData(Data: OEMString); var Written: Cardinal;...
Serjone
6
в JclConsole объявлено так: function CtrlHandler(CtrlType: DWORD): BOOL; stdcall; - где ваше объявление с stdcall? у вас на картинке нет stdcall
Karagy
8
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Вот еще странный косяк, подскажите как бороться. Я git clone сделал себе всего embassy и примеры там запускаю. Всё хорошо. Но вот решил в cargo.toml зависимости не как в приме...
Lukutin R2AJP
3
Карта сайта