не хватает ресурсов для чтения метаданных паркета размером 25гб, используем стандартную библиотеку parquet-hadoop 1.8.3.
Предполагаю что для чтения метаданных весь паркет загружается в память.
Сталкивался ли кто нибудь с аналогичной ситуацией и какие были решения?
Сколько в паркете row groups?
Обсуждают сегодня