млн+ строк из csv файла который лежит на Амазаное S3
подскажите пож-та как реализовать пакетную загрузку данных в цикле перебора такого количества строк, или может быть есть инструменты в симфони подобные либо можно использовать и лучше использовать генератор с yield?
А можно в мегабайтах?
А читать построчно не вариант?
всмысле открывать файл и читать строку за строкой?
S3 API умеет в RangeBytes
Чтобы его открыть, его вначале надо скачать :)
Что значит открывать? Получаешь дескриптор и читаешь построчно
А типа по урлу, но читать построчно? А так можно вообще ?
Сорри, не увидел s3
на данный момент реализовал логику вот так: загружаю по АПИ .csv файл с информацией в bucket амазона оттуда читаю и открываю. Все ок но делаю пока маленькие файлы, боюсь что если сейчас закину 4 Гб все ляжет
нет такой вариант не подходит нужно либо пакетно данные забирать, либо использовать генераторы. Пока не знаю чему отдать предпочтения
fopen работает и с url
Обсуждают сегодня