Поделитесь опытом, что делать если DATA выборка нейросети будет в

Question

Поделитесь опытом, что делать если DATA выборка нейросети будет в

конечном итоге занимать около 5000 Гб в .txt - это около 50 000 000 данных для обучения. Дробить файл ? есть ли альтернатива , например через AWS ?

0

24.05.2020

3 ответов

15 просмотров

Лис Электронщик

Вообще, за 1.5-2k$ можно купить б/у сервер на оптеронах с 512GB-1TB RAM. SSD 1TB стоит около 200$ — а серверные платы поддерживают диски десятками.

0

24.05.2020

Alexandr

Я бы порезал на куски по несколько гигабайт и читал бы в случайном порядке каждую эпоху Для пайторча придется писать свой ридер этих самых станков Или попробовать обернуть каждый чанк в свой датасет и воспользоваться Concatenated dataset, кажется, такое в торче есть Если используешь TF, то записывая свои данные в tfrecord ты как раз разобъешь на чанки, а TF даже и знать о них ничего не будет

0

24.05.2020

Evgenii Zheltonozhskii🇮🇱 · Accepted Answer

Evgenii Zheltonozhskii🇮🇱

Докупить дисков?

0

24.05.2020

Похожие чаты

Поделитесь опытом, что делать если DATA выборка нейросети будет в

3 ответов

Похожие вопросы