Хочу понять почему json.loads жрёт так много озу. Пытаюсь разобраться

Question

Хочу понять почему json.loads жрёт так много озу. Пытаюсь разобраться

что с этим можно сделать и вообще реально ли распаковать response.content с меньшим потреблением оперативной памяти в дикт? Обратил внимание на msgpack, но пока не врублюсь как распаковать байты.

В комменте под гистом есть пример работы кода, в которых видно, что после второго чекпоинта идёт гигантское пожирание озу в сравнении с объёмом ответа.

https://gist.github.com/twisted-Sonnet/f96ad93ba595fdfaf713d39bd24f1ebe

#backend #programming #python #russian

0

07.03.2020