Доброй ночи. nginx возвращает чанки , которые являются кусками джейсона.

Question

Доброй ночи. nginx возвращает чанки , которые являются кусками джейсона.

в одном чанке необязательно джейсон целый. Размеры могут доходить до 1гб, поэтому читаю:

https://docs.aiohttp.org/en/stable/streams.html
async for data, _ in response.content.iter_chunks():
print(data)

Может есть готовые решения, которые буферизуют куски, и когда джейсон валиден возвращают его?

Или искать "}" , и потом уже самому склеивать.

#backend #programming #python #russian

0

15.07.2022

4 ответов

26 просмотров

Brаl Brаl Bral 🏳️‍🌈👠 Автор вопроса

Denis Pobedrya
если рамы достаточно, то в json модуле есть штука ...

оно, благодарю.

0

15.07.2022

Well Done

Лучшим вариантом будет передавать json частями, если это вообще возможно. Думаю, ничего на этот счет не найти (придется читать) Как вариант, можно кстати в файл читать, а по окончании загрузки отдельно его смотреть

0

15.07.2022

Brаl Brаl Bral 🏳️‍🌈👠 Автор вопроса

Well Done
Лучшим вариантом будет передавать json частями, ес...

С выдачей ничего сделать не могу. Мне подошло вот это решение: https://stackoverflow.com/questions/27879958/reading-large-json-file-in-python-raw-decode

0

15.07.2022

Denis Pobedrya · Accepted Answer

Denis Pobedrya

если рамы достаточно, то в json модуле есть штука которая называется raw_decode, возвращает то что смогло декодировать, и позицию до куда

0

15.07.2022

170 похожих чатов

Доброй ночи. nginx возвращает чанки , которые являются кусками джейсона.

4 ответов

Похожие вопросы