50GB? Не было проблем с памятью
Пробовали, все ок
Вы сейчас задаёте очень странный вопрос. 1) Есть машины где оперативки 512 Гб, там не будет проблем при загрузке 50 Гб 2) Что вы считаете за память? Файл csv весом 50 Гб на диске этого одно. Этот же файл в кликхаусе в сжатом виде будет весить Гб 2-5. Этот же файл в R будет весить Гб хз, 200+ ГБ наверное, потому что R резервирует памяти под него как не в себя, зато манипуляций доступно гораздо больше, чем в БД
Про 200GB это просто не правда
Да, генератор возвращает бетчи, которые легко помещаются в память, и тренировка делится на эпохи
Обсуждают сегодня