Я так понимаю там только квантованые ?

Question

Natural Language Processing

Terа́Spа́ce Stories: 10^12 Space |🥴🤗|

Я так понимаю там только квантованые ?

#nlp #programming #russian

0

09.11.2023

7 ответов

42 просмотра

Terа́Spа́ce Stories: 10^12 Space |🥴🤗| Автор вопроса

miteigi nemoto
в этом тесте да

а есть такое но с не квантоваными?

0

09.11.2023

miteigi nemoto

Terа́Spа́ce Stories: 10^12 Space |🥴🤗|
а есть такое но с не квантоваными?

Пока я видел только такие обширные тесты. Но не углублялся на каких именно задачах тестировалось. и это llama.cp https://github.com/XiongjieDai/GPU-Benchmarks-on-LLM-Inference

0

09.11.2023

Yuriy Nazarov

miteigi nemoto
Пока я видел только такие обширные тесты. Но не уг...

Average prompt eval time (ms/token) by GPUs. 4090 24GB | 0.92 4090 24GB * 2 | 3.44 2 gpu в 3+ раза медленнее чем 1

0

09.11.2023

miteigi nemoto

Yuriy Nazarov
Average prompt eval time (ms/token) by GPUs. 4090 ...

выглядит как 3+ раза, но на конкретном деле все может обстоять иначе и разница не будет кратной

0

09.11.2023