железо подойдёт для fine tuning saiga2 версий 7b, 13b и 70b соответственно, а также для ruGPT-3-small, rugpt3medium, ruGPT-3-large, ruT5-base, ruT5-large, FRED-T5-large и FRED-T5-XL?
A100
Одной A100 будет достаточно?
тут вроде самая большая из перечисленных fred-t5-1.7b (XL я не видел, разве есть?) Сегодня завел файнтюн на одной А100. Но с батчем то ли 2, то ли 4 всего.
Самая большая Saiga 70b - 140Gb
Обсуждают сегодня