GPT, свою LLM на пару сотен миллионов параметров для всяких околонаучных целей или лучше использовать существующие маленькие LLMки по типу Pythia-1B?
Мне кое-какие хотелось бы кое-какие эксперименты провести, притом немного специфичные.
А железом и деньгами я строго ограничен.
Заранее спасибо за ответы(если будут)
читай про shinchila scaling laws
ну смысла не имеет, модель будет не очень
ну меньше чем с 8а100 я бы не начинал это делать(для 1b+)
берите себе 3090 и тьюньте фреда на 1.7б
Всё, ясно, спасибо, возьму что-нибудь существующее. Одну А100 на пару дней позволить себе смогу, но 8 штук меня точно разорят.
Обсуждают сегодня