10ки гигабайт?
Обычный unmarshal хочет дюже много памяти. Да и медленный шо ппц.
Пробовал пока json-iterator. Лучше но все равно не то.
Структура супер простая и известна заранее
Easyjson пробовал?
Ещё нет. Вот слушаю варианты)
Обычно на порядок поднимает скорость. Если есть ещё что-то я тоже слушаю))
Сериализовать или наоборот?
Да. Спасибо за внимательность. Не так написал. Десериализовать.
Маршал и анмаршал использует рефлексию, easyjson - кодогенирацию. Укоряет очень сильно
Из любопытства, там массив объектов или прямо один такой здоровый объект?
Массив объектов. Считай дамп базы... Ну или близко
Не силен в теме, но может его в стрим и читать между квадратными скобочками, а то что внутри уже разбирать?
Стандартный стрим тоже пробовал. Позволяет уменьшить расход памяти. Но скорость треш
И стандартный стрим вроде не паралелится ....а жаль...
Была вроде библиотека simdjson
Обсуждают сегодня