батчам с батчами, но торчевский сэмплер, кажется, на такое не способен. Может быть кто-то писал очень кастомный сэмлер, чтобы была возможность мультипроцессинга?
Не очень понятно что собственно надо. Но чет сложно представить обучение одной и той же сетки в параллельных процессах, если вопрос об этом.
Нет, не одной. Представим, что у нас есть большой батч, а есть маленькие батчи - подбатчи большого батча. Есть модель-фичаэкстрактор, в которую нельзя запихнуть большой батч, а есть еще другая сеть (на которую должен распространяться лосс), для которой важно подавать весь большой батч целиком.
Что то похожее делали на tf. Не совсем это, но близко. Правда не в мультипроцессах. Последовательно. Вручную делали, большой кусок разбирали тоже. Не у компа правда, посмотреть не могу пока.
Обсуждают сегодня