затем надо распарсить и положить в KV базу на диск (что можно делать паралельно). Имеет ли смысл распаралеливать парсинг и сохранение или разницы не будет т.к. скорость чтения\записи диска ограничена?
КV на том же диске что ли?
ну KV самописная что ли? она ж в память сначала сохраняет
не самописная(badger), ну скорее всего да в память и потом на диск
так померяйте!
Да я померял на кусочке, скажем 2 минуты против 1, 40сек, разница на 4х процах не феноменальная. А куда я уперся хз, может просто парсер медленный.
так померяйте же!
померять не простаивают ли воркеры?
ладно там пол часа времени, мне раз его обработать)
а как же опыт траблшутинга? )))
Да мне интересно конечно, но я отхожу от своей основной задачи. Время не бесконечное значит выбираем компромис - спросить в го-го чатике может удастся по мозговать что-то. А тут на тебе меряйте, меряйте)))
Обсуждают сегодня