169 похожих чатов

Какой лучший способ гнать поток данных куда-то? В файл? Так-то получается

около 32Гигов только на Москву надо сырых данных
буфер на гиг и потом в ZSTD загонять?

18 ответов

35 просмотров

Файл все стерпит

чето много. ты что пишешь?

notme- Автор вопроса
Sergey Bodrov
Файл все стерпит

что медленее записать 32гига несжатых данных на ссд или пожать Zstd и записать?

notme- Автор вопроса
zamtmn
чето много. ты что пишешь?

550млн*(8байт адрес ф-ии + 8 байт rdtsc)*2(вход и выход) = 32гига 550млн*32 короче

notme
что медленее записать 32гига несжатых данных на сс...

Пожать конечно, у современных процев моща дурная, девать ее некуда.

Sergey Bodrov
Пожать конечно, у современных процев моща дурная, ...

вот при таком подходе и тупит да тормозит потом всё

notme- Автор вопроса
Alexey Kulakov
вот при таком подходе и тупит да тормозит потом вс...

тут реально может это быть быстрее, особенно если писать пытаться на хдд

notme
550млн*(8байт адрес ф-ии + 8 байт rdtsc)*2(вход и ...

время нужно считать рантайме. в файл только ребра графов переходов. хотя и ребра тоже можно считать в рантайме - не фатально тормозить должено

notme
что медленее записать 32гига несжатых данных на сс...

А, пардон, вопрос с подвохом был. С минимальным сжатием копируется быстрее, чем без сжатия. Даже у SSD есть ощутимый предел по пропускной способности

notme- Автор вопроса
Sergey Bodrov
А, пардон, вопрос с подвохом был. С минимальным сж...

Тут наверное что быстрее будет скорость сжатия или скорость записи

Alexey Kulakov
вот при таком подходе и тупит да тормозит потом вс...

Если в одном (основном gui-шном) потоке все делать, то да

notme
пока так

можно формат валгринда глянуть

notme
Тут наверное что быстрее будет скорость сжатия или...

Сжатие быстрее, потому что пропускная способность памяти на порядки выше пропускной способности диска. И при этом проц будет отдыхать.

А для чего профилировщику такой объём? Там разве не достаточно min, max, avg для каждой функции/метода? Даже если нужно сохранить последовательность вызовов, то количество вариантов должно быть ограниченным, не логгировать же отдельно каждый вызов!

notme- Автор вопроса
Дмитрий Логинов
А для чего профилировщику такой объём? Там разве н...

Я пока не знаю, времени не особо много свободного чтобы проанализировать, пока прикинул сырые данные

notme- Автор вопроса

Похожие вопросы

Обсуждают сегодня

Какой-то там пердун в 90-х решил, что есть какая-то разная типизация. Кого вообще это волнует?
КТ315
49
void terminal_scroll() { memmove(terminal_buffer, terminal_buffer + VGA_WIDTH, buffer_size - VGA_WIDTH); memset(terminal_buffer + buffer_size - VGA_WIDTH, 0, VGA_WIDTH); ...
Егор
47
Всем привет! Подскажите, пожалуйста, в чем ошибка? Настраиваю подключение к MySQL. Либы лежат рядом с exe. Все как по "учебнику"
Евгений
16
А можете как-то проверить меня по знаниям по ассемблеру?
A A
132
Здравствуйте! У меня появилась возможность купить книгу "Изучай Haskell во имя добра!". Но я где-то слышал, что эта книга устарела. Насколько это правда??
E
22
Здравствуйте! Я вот на stepic решаю задачи на хаскеле https://stepik.org/lesson/8443/step/8?unit=1578 мой код import Data.List (isInfixOf) removing :: String -> [String] ->...
E
10
Камрады, кто тесно работал с vtv, хотел уточнить. Ширина column задаётся жёстко на этапе создания дерева или можно в рантайме ее менять программно (не мышкой)?
Ed Doc
10
да ладно ... что там неочевидного ? глянуть в исх-ки датасета и/или кверика чтобы понять в каком месте и как выполняется обращения к св-вам blablaSQL - минутное дело, даже е...
Сергей
7
Здесь для arm кто-нибудь кодит ?
Nothing
52
Всем привет, у меня есть сервер принимающий входящие HTTP подключения, как проверить, что подключение было через прокси или нет, есть какие то поля в заголовках по которым мо...
Кибер Бомж
8
Карта сайта