во время трейна ,так как весь файл сразу в память не помещается. Как можно из этого файла грузить определённые строки? В каком формате должен быть файл, csv, pickle? Проблема, что после каждой эпохи датасет должен шафлиться, а как шафлить огромный файл с фичами, не понятно
С большими данными можно работать например через dask
Обсуждают сегодня