7 гб оперативки свободно
Сталкивался кто то? Как решить?
взять поточный парсер
гуглить python sax-like xml parser
http://boscoh.com/programming/reading-xml-serially.html
сталкивался с ещё более пиздатой штукой. файлов от 30 до 500. размер от 1кб до 2гб, и это xml.gz. пришёл к тому, что 1) качаю; 2) распаковываю; 3) всё, что больше N мб — дроблю. потом в нескольких процессах всё это пропускаю через xmltodict.
Обсуждают сегодня