что с этим можно сделать и вообще реально ли распаковать response.content с меньшим потреблением оперативной памяти в дикт? Обратил внимание на msgpack, но пока не врублюсь как распаковать байты.
В комменте под гистом есть пример работы кода, в которых видно, что после второго чекпоинта идёт гигантское пожирание озу в сравнении с объёмом ответа.
https://gist.github.com/twisted-Sonnet/f96ad93ba595fdfaf713d39bd24f1ebe
Регулярками вычленять пооюъектно; по памяти незатратно, но потеряешь в скорости
Как это жрет? То есть расходы озу высокие только во время парсинга, а питоновские объекты мало кушают?
Обсуждают сегодня