В huggingface/transformers по дефолту дп или ддп, если включаю трейнер

на машине с несколькими гпу?

4 ответов

52 просмотра

По дефолту DP

Ilya- Автор вопроса

А как включить ddp?

Ilya
А как включить ddp?

Запускать скрипт через python -m torch.distributed.launch --nproc_per_node=#gpus your_script.py Там вообще ещё несколько моментов есть которые нужно реализовать, в тч работу с local_rank, лучше почитать туториал про это. Или посмотреть на скрипты из примеров к трансформерам, например https://github.com/huggingface/transformers/blob/master/examples/pytorch/language-modeling/run_mlm.py

Ilya- Автор вопроса

Похожие вопросы

Карта сайта