170 похожих чатов

Товарищи такой вопрос. Читаю большой XML 50GB, обьекты поступают последовательно,

затем надо распарсить и положить в KV базу на диск (что можно делать паралельно). Имеет ли смысл распаралеливать парсинг и сохранение или разницы не будет т.к. скорость чтения\записи диска ограничена?

11 ответов

7 просмотров

КV на том же диске что ли?

Nikita Gritsai
ага

ну KV самописная что ли? она ж в память сначала сохраняет

Nikita-Gritsai Автор вопроса
Alexey Shumkin
ну KV самописная что ли? она ж в память сначала со...

не самописная(badger), ну скорее всего да в память и потом на диск

так померяйте!

Nikita-Gritsai Автор вопроса
Daniel Podolsky
так померяйте!

Да я померял на кусочке, скажем 2 минуты против 1, 40сек, разница на 4х процах не феноменальная. А куда я уперся хз, может просто парсер медленный.

Nikita-Gritsai Автор вопроса
Daniel Podolsky
так померяйте же!

померять не простаивают ли воркеры?

Nikita-Gritsai Автор вопроса
Nikita Gritsai
померять не простаивают ли воркеры?

ладно там пол часа времени, мне раз его обработать)

Nikita-Gritsai Автор вопроса
Alexey Shumkin
а как же опыт траблшутинга? )))

Да мне интересно конечно, но я отхожу от своей основной задачи. Время не бесконечное значит выбираем компромис - спросить в го-го чатике может удастся по мозговать что-то. А тут на тебе меряйте, меряйте)))

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
70
Здравствуйте. Задача состоит в том, чтобы сделать real-time чат в мобильном приложении. После передачи сообщения пользователем через веб-сокеты, для основного и долговременног...
🐾
5
Всем доброго дня, ребят подскажите пожалуйста, если в курсе по ассемблеру используется MASM32, могу ли я использовать FASM? В чем явная разница и будет ли у меня все работать?
Botsman
17
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
25
Книга Юрова В.И пойдёт для обучения?
Botsman
24
$params = [ 'formid' => 'feedbackForm', 'formTpl' => '@CODE: <form class="form-validate" data-id="ajax_form"> <fieldset class="margin-bottom-md"> ...
Pathologic
1
Люди добрые, помогите с идеями, потому что свои закончились. У клиента падает софтина в момент инициализации модуля OtlEventMonitor на RegisterWindowMessage('Gp/OtlTaskEvents/...
Михаил Усков
7
Тут просто дело в том, что я не могу сейчас дать такие подробности из за того что рассчитать это всё нереально. Этого проекта который я хочу сделать ещё даже не существует) И ...
🐾
8
> Примечательно, что новый владелец удаляет из GitHub любые жалобы, указывающие на подозрительную активность или смену владельца, и, видимо, рассчитывает на то, что пользовате...
Alex Sherbakov
2
GridView fully ignored first parent(SizedBox), and take width from second parent(Container). How can I constrain GridView by first parent? Widget build(BuildContext context) {...
Hamster
1
Карта сайта