типо аналог хоровода, или оно как-то автоматизирует разнесение слоёв по gpu чтоб не долбаться с чем-то вроде with tf.device?
Похоже что модел. https://github.com/NVIDIA/Megatron-LM/blob/master/README.md раздел model parallel
Обсуждают сегодня