Парни, всем привет. Очень нужна помощь пацанов со стажем. Проблема.

Question

Парни, всем привет. Очень нужна помощь пацанов со стажем. Проблема.

Имеется json файл, на 30гб определенных данных. Мне их нужно отсортировать в csv. Данные там такого типа {“”:””…},…

Пытался решить проблему пачками, мультредами, ProcessMemory и тп. Результаты- 10гб оперативы жрёт, за 1.5 часа сделалось только 3.46% всех данных ≈ 0.5ГБ.

ВОПРОС: если меня не волнует оперативка, но волнует скорость, как можно максимально ускорить процесс? Была идея располовинить по 1млн строк файл,есть ли в этом толк? Если что, json обрабатывается с перемешкой нужных мне энтити в нужном порядке.

#backend #dot #programming #russian

0

17.08.2023