169 похожих чатов

Какой лучший способ гнать поток данных куда-то? В файл? Так-то получается

около 32Гигов только на Москву надо сырых данных
буфер на гиг и потом в ZSTD загонять?

18 ответов

56 просмотров

Файл все стерпит

чето много. ты что пишешь?

notme- Автор вопроса
Sergey Bodrov
Файл все стерпит

что медленее записать 32гига несжатых данных на ссд или пожать Zstd и записать?

notme- Автор вопроса
zamtmn
чето много. ты что пишешь?

550млн*(8байт адрес ф-ии + 8 байт rdtsc)*2(вход и выход) = 32гига 550млн*32 короче

notme
что медленее записать 32гига несжатых данных на сс...

Пожать конечно, у современных процев моща дурная, девать ее некуда.

Sergey Bodrov
Пожать конечно, у современных процев моща дурная, ...

вот при таком подходе и тупит да тормозит потом всё

notme- Автор вопроса
Alexey Kulakov
вот при таком подходе и тупит да тормозит потом вс...

тут реально может это быть быстрее, особенно если писать пытаться на хдд

notme
550млн*(8байт адрес ф-ии + 8 байт rdtsc)*2(вход и ...

время нужно считать рантайме. в файл только ребра графов переходов. хотя и ребра тоже можно считать в рантайме - не фатально тормозить должено

notme
что медленее записать 32гига несжатых данных на сс...

А, пардон, вопрос с подвохом был. С минимальным сжатием копируется быстрее, чем без сжатия. Даже у SSD есть ощутимый предел по пропускной способности

notme- Автор вопроса
Sergey Bodrov
А, пардон, вопрос с подвохом был. С минимальным сж...

Тут наверное что быстрее будет скорость сжатия или скорость записи

Alexey Kulakov
вот при таком подходе и тупит да тормозит потом вс...

Если в одном (основном gui-шном) потоке все делать, то да

notme
пока так

можно формат валгринда глянуть

notme
Тут наверное что быстрее будет скорость сжатия или...

Сжатие быстрее, потому что пропускная способность памяти на порядки выше пропускной способности диска. И при этом проц будет отдыхать.

А для чего профилировщику такой объём? Там разве не достаточно min, max, avg для каждой функции/метода? Даже если нужно сохранить последовательность вызовов, то количество вариантов должно быть ограниченным, не логгировать же отдельно каждый вызов!

notme- Автор вопроса
Дмитрий Логинов
А для чего профилировщику такой объём? Там разве н...

Я пока не знаю, времени не особо много свободного чтобы проанализировать, пока прикинул сырые данные

notme- Автор вопроса

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта