Как заставить Pandas.read_csv читать большие файлы в несколько гигов, не

Question

Как заставить Pandas.read_csv читать большие файлы в несколько гигов, не

забивая память? Сначала файл читается нормально, но потребление памяти возрастает и в какой-то момент забивает своп, после чего прграмма крашится с 137 ошибкой. Восстановление процесса с нужной строки при помощи skiprows не помогает, всё происходит то же самое, только память забивается сразу. Перепробовал все engine и даже low_memory=False. Кто-нибудь сталкивался? как заставить его читать файл сегментами, без попытки загрузить его весь?
with pd.read_csv(filename, sep='\t', quoting=3, chunksize=100_000,
on_bad_lines='warn', engine='python',
skiprows=30_000_000,
na_values=r'\N') as reader:
for i, chunk in enumerate(reader):

#backend #programming #python #russian

0

10.04.2022