tf.distribute.MirroredStrategy(cross_device_ops=tf.distribute.ReductionToOneDevice())
При вызове model.fit должен ли я менять размер батча на batch_size*gpu count?
Есть официальный туториал, в нем используют глобальный размер батча, но при создании датасета, а не при вызове fit BATCH_SIZE = BATCH_SIZE_PER_REPLICA * strategy.num_replicas_in_sync https://www.tensorflow.org/tutorials/distribute/keras
Поменяй, если упадет то не надо)
Обсуждают сегодня