кастомными структурами Julia?
Не проще ли в tar положить эти файлы на лету?
сохранять очень много маленьких файлов - это по-любому варианту плохо. Хотя бы в пачки надо объединять. Или, если очень надо, выбрасывать во внешнюю очередь. Типа RabbitMQ, Kafka и пр., а потом где-то сохранять.
Обсуждают сегодня