M2 Ultra 192GB unified memory bandwidth 800 GB/s 4090 24GB memory bandwidth 1,008 GB/s M2 Ultra, 27 TFLOPS RTX 3090, 35 TFLOPS RTX 4090, 82 TFLOPS M2 Ultra can run 128 ...
Если верить что GPT4 это 220B parameters and is a 16-way mixture model with 8 sets of weights https://www.youtube.com/watch?v=WJWHIZoBOj8 Насколько позади yagpt и gigachat ?
Сколько слов длина промпта и длина контекста у текущих чатов (gpt4, sber, yandexgpt), через сколько слов диалога модель начнёт забывать ? chatgpt gpt4 как понимаю 32k токенов...
Есть публичный независимый leaderboard с тестами ллмок? утопаем в весах