получается 17.4 токена в с. Это нормально или мало ? Смущает, что загрузка только по 50-55%...
Это потому что первая половина слоев на одной, а часть на другой? или процессор виноват?
Так и будет да. Проц нагружается. Если на A100 все поместить будет быстрее, но не на порядок
не факт, A100 по флопсам слабее одной 4090, но возможно псп зарешает
Обсуждают сегодня