а в чем тогда вопрос как визуализировать? Цикл на 100к кусочков таких пролетит быстро
а они какая то организация или просто команда независимых разработчиков?
а данные у вас как заданы, в каком формате?
вы файл читаете весь сразу или по одной строке на каждой итерации?