170 похожих чатов

Товарищи такой вопрос. Читаю большой XML 50GB, обьекты поступают последовательно,

затем надо распарсить и положить в KV базу на диск (что можно делать паралельно). Имеет ли смысл распаралеливать парсинг и сохранение или разницы не будет т.к. скорость чтения\записи диска ограничена?

11 ответов

5 просмотров

КV на том же диске что ли?

Nikita Gritsai
ага

ну KV самописная что ли? она ж в память сначала сохраняет

Nikita-Gritsai Автор вопроса
Alexey Shumkin
ну KV самописная что ли? она ж в память сначала со...

не самописная(badger), ну скорее всего да в память и потом на диск

так померяйте!

Nikita-Gritsai Автор вопроса
Daniel Podolsky
так померяйте!

Да я померял на кусочке, скажем 2 минуты против 1, 40сек, разница на 4х процах не феноменальная. А куда я уперся хз, может просто парсер медленный.

Nikita-Gritsai Автор вопроса
Daniel Podolsky
так померяйте же!

померять не простаивают ли воркеры?

Nikita-Gritsai Автор вопроса
Nikita Gritsai
померять не простаивают ли воркеры?

ладно там пол часа времени, мне раз его обработать)

Nikita-Gritsai Автор вопроса
Alexey Shumkin
а как же опыт траблшутинга? )))

Да мне интересно конечно, но я отхожу от своей основной задачи. Время не бесконечное значит выбираем компромис - спросить в го-го чатике может удастся по мозговать что-то. А тут на тебе меряйте, меряйте)))

Похожие вопросы

Обсуждают сегодня

@Aiwan что такое база образца?
Alexey
27
Не многие знают, а кто знает, тот уже успел забыть, что в далёком 2004 году эта игра произвела настоящий фурор, настолько революционной была технология, применяемая для её соз...
ICCID
4
Короче я тут узнал полный пиздец Что кучу постов которые я создавал через posted Спустя время не могу редактировать и менять Мол телега возвращае ошибку Это реально так ...
inc.
13
коллеги, добрый вечер! А никто не знает как модальная форма может себя закрыть? Ну допустим модальная форма определила, что смысла ей работать нет и хочет вернуть modalResult...
Михаил
83
Хотя у меня сейчас есть более сложная задача, вот её думаю: как объяснить челу переходного возраста противоположного полу, обучающегося в польском колледже (а-ля наш техникум)...
Вячеслав Кузьменко
15
а вы в курсе, что Initialize() не работает? var arr123: array[0..123] of Byte; ... Initialize(arr123, SizeOf(arr123));
Iluha Companets
8
Добрый день Хочу начать обучение языку, не являюсь представителем it, буду благодарна за помощь, совсем пока не понимаю ничего) Подскажите, пожалуйста, где можно начать первы...
Sara Lala
30
что читать по делфи?вообще 0 в нем
fd dsds
9
верно что я могу удалить эти addq и subq т.к. со стеком никакого взаимодействия нет (исключая call)?
Michael
16
const dirname = new URL((typeof document === 'undefined' ? require('u' + 'rl').pathToFileURL(__filename).href : (_documentCurrentScript && _documentCurrentScript.src || new UR...
Kirill Shaplyko
4
Карта сайта