В huggingface/transformers по дефолту дп или ддп, если включаю трейнер

Question

DL in NLP discussion group

Ilya

В huggingface/transformers по дефолту дп или ддп, если включаю трейнер

на машине с несколькими гпу?

#communication #dlinnlp #nlp #russian

0

31.12.2021

4 ответов

33 просмотра

Ilya Автор вопроса

А как включить ddp?

0

31.12.2021

Daniil Larionov

Ilya
А как включить ddp?

Запускать скрипт через python -m torch.distributed.launch --nproc_per_node=#gpus your_script.py Там вообще ещё несколько моментов есть которые нужно реализовать, в тч работу с local_rank, лучше почитать туториал про это. Или посмотреть на скрипты из примеров к трансформерам, например https://github.com/huggingface/transformers/blob/master/examples/pytorch/language-modeling/run_mlm.py

0

31.12.2021

Ilya Автор вопроса

Daniil Larionov
Запускать скрипт через python -m torch.distributed...

Понял, спасибо большое

0

31.12.2021