производительности генерации токенов в секунду?
Я не проводил супер детальных тестов ТК это небыло целью поскольку я не участвую в разработке llama.ccp и эти данные были бы просто бесполезны. Однако я провел поверхностные тесты. Я заметил что количество потоков не сильно влияет на производительность, однако влияет.
Обсуждают сегодня