Какую, все же Господа, хорошую задачу задал г-н Artur: /// Мне нужно

максимально быстро задампить unordered map состоящий из структур в csv файл.
///
С утра над ней думаю, но вопросов больше чем ответов.

Совершенно понятно, что поскольку вопрос задан в про.цхх, то все ОС специфичные методы отпадают.
Мы можем думать только в рамках стд. Тем более что автор не уточнил какая у него ОС и какое железо.
Все же будем полагать, что ОС у него есть и у железа есть ММУ. То есть у нас есть пользовательские потоки и потоки ядра, которые собственно и пишут.
Исходя из этих предпосылок оптимальный алгоритм выглядит так: "пока мы форматирует очередной блок Ось предыдущий блок уже пишет"
Но насколько с++ умеет в такой алгоритм?
И какого размера должен быть оптимальный блок?
Также исходя из термина "задампить" мы можем предположить что задача может решаться в ситуации невозможности выделения памяти, отсутствия места на стекле и/или невозможности создания дополнительных пользовательских потоков.

Очень, очень интересно...

пара минут гугла: https://stackoverflow.com/a/1120224 https://github.com/d99kris/rapidcsv не так уж и долго это преобразовать в дампер...

Не цепляйтесь за "цсв". Это может быть и json и бсон и что угодно. Во постановке задачи есть "как наиболее быстро", а не "как наиболее просто в цсв". Для простоты будем полагать, что у нас вполне приличный форматер в цсв. Хотя тут тоже есть нюансы в ситуации недостатка памяти и проч.

ну я прочитал что он там написал, начать можно с того, что сам его вопрос поставлен криво, а закончить тем, что вы переусложняете задачу, чего делать не стоит. Про ограниченное кол-во памяти в его вопросе ни слова Дамп unordered_map в память у него ускорить не получится, разве что только если у него не своя реализация Делать второй поток для записи тоже в данном случае не нужно А вот про форматирование могу посоветовать https://github.com/nothings/stb/blob/master/stb_sprintf.h, она быстрее стандартного

Ну да. Его вопрос поставлен криво и он совсем не полагает развитие своего вопроса до вида как его сформулировал я. Ваш ответ его более чем удовлетворит. А вот меня нет. Я хочу понимать оптимально быстрый алгоритм решения этой задачи. То есть "пока я форматирую очередной блок, предыдущий блок ОС уже пишет". С++ даёт такие гарантии? При последовательном вызове << точно нет, т.к. после каждого "<<" вызывается .flash. А как тогда? Отдельная тема делать это в несколько потоков. Т.п.

Я всю вторую половину недели думаю об этом,ОС Ubuntu 22.04, обычный SSD - куда дампить

После каждого << не вызывается flush

касательно потоков, это вообще вопрос не к c++, а к ОС, и в зависимости от имлпементации тот же fwrite может как писать синхронно в этом же потоке, так и отправлять реквест к ОС на запись и тупо локать поток до вызова коллбека

В с++ явно нет асинхронного ио.

Io_ring)))

io_uring* )))