memory bandwidth 1,008 GB/s
M2 Ultra, 27 TFLOPS
RTX 3090, 35 TFLOPS
RTX 4090, 82 TFLOPS
M2 Ultra can run 128 streams of Llama 2 7B in parallel
https://news.ycombinator.com/item?id=37846387
да прикольна тема. но надо глянуть на ценник )
Доп обсуждение https://www.reddit.com/r/LocalLLaMA/comments/14nf6tg/hardware_m2_ultra_192gb_mac_studio_inference/
Обсуждают сегодня