169 похожих чатов

Какой лучший способ гнать поток данных куда-то? В файл? Так-то получается

около 32Гигов только на Москву надо сырых данных
буфер на гиг и потом в ZSTD загонять?

18 ответов

22 просмотра

Файл все стерпит

чето много. ты что пишешь?

notme- Автор вопроса
Sergey Bodrov
Файл все стерпит

что медленее записать 32гига несжатых данных на ссд или пожать Zstd и записать?

notme- Автор вопроса
zamtmn
чето много. ты что пишешь?

550млн*(8байт адрес ф-ии + 8 байт rdtsc)*2(вход и выход) = 32гига 550млн*32 короче

notme
что медленее записать 32гига несжатых данных на сс...

Пожать конечно, у современных процев моща дурная, девать ее некуда.

Sergey Bodrov
Пожать конечно, у современных процев моща дурная, ...

вот при таком подходе и тупит да тормозит потом всё

notme- Автор вопроса
Alexey Kulakov
вот при таком подходе и тупит да тормозит потом вс...

тут реально может это быть быстрее, особенно если писать пытаться на хдд

notme
550млн*(8байт адрес ф-ии + 8 байт rdtsc)*2(вход и ...

время нужно считать рантайме. в файл только ребра графов переходов. хотя и ребра тоже можно считать в рантайме - не фатально тормозить должено

notme
что медленее записать 32гига несжатых данных на сс...

А, пардон, вопрос с подвохом был. С минимальным сжатием копируется быстрее, чем без сжатия. Даже у SSD есть ощутимый предел по пропускной способности

notme- Автор вопроса
Sergey Bodrov
А, пардон, вопрос с подвохом был. С минимальным сж...

Тут наверное что быстрее будет скорость сжатия или скорость записи

Alexey Kulakov
вот при таком подходе и тупит да тормозит потом вс...

Если в одном (основном gui-шном) потоке все делать, то да

notme
пока так

можно формат валгринда глянуть

notme
Тут наверное что быстрее будет скорость сжатия или...

Сжатие быстрее, потому что пропускная способность памяти на порядки выше пропускной способности диска. И при этом проц будет отдыхать.

А для чего профилировщику такой объём? Там разве не достаточно min, max, avg для каждой функции/метода? Даже если нужно сохранить последовательность вызовов, то количество вариантов должно быть ограниченным, не логгировать же отдельно каждый вызов!

notme- Автор вопроса
Дмитрий Логинов
А для чего профилировщику такой объём? Там разве н...

Я пока не знаю, времени не особо много свободного чтобы проанализировать, пока прикинул сырые данные

notme- Автор вопроса

Похожие вопросы

Обсуждают сегодня

Дмитрий, [14.07.2024 15:30] добрый день Дмитрий, [14.07.2024 15:30] не могу разобраться с этим материалом Дмитрий, [14.07.2024 15:30] https://conture.by/post/1927 Дмитрий, ...
Дмитрий
11
Здравствуйте , есть идеи крутых и несложных приложений?
Alexey
54
неужели нельзя было сделать нормальную оконную подсистему?
Mixail Frolov
25
а то есть ещё например такие структуры, и какой у них размер только в рантайме считать struct interface_descr bLength db ? bDescriptorTyp...
Mixail Frolov
22
Кто-то из вас видел хаскель?
Karl {🌪️}{🐊} Shinobi
42
fasm самый топовый ассемблер если нужна универсальность?
Simple Sorcerer
30
Платим за написание удаление кода Мы, разработчики, сидим и код какой-то пишем. Пишем, пишем, его всё больше и больше, а старое почти не удаляем. А когда удаляем то не ясно «...
✌️(´ヮ`)
1
Типа вызывать GetParent и проверять на соответствие GetModuleHandle?
The Bird of Hermes
67
Коллеги, а я вот что-то подзапутался. Есть ли сейчас какая-то БД, в которую можно запушить в таблицу/коллекцию JSON, а потом иметь к нему SQL доступ? Это нужно как стейджинг...
Maksim Lapshin
27
Доброго вечера, сижу на Ubuntu, но хочу изучать язык C, знающие, подскажите пожалуйста, какие у меня могут возникнуть трудности именно с совместимостью C с linux, или же проще...
Botsman
33
Карта сайта