значения top_k и temperature в стандартных конфигах сайги? Наверняка это какой-то конкретной особенностью обусловлено
И есть ли какие-то подобные подводные камни в ней, которые сильно влияют на качество генерации? Например как специальные токены в FRED-T5, которые не все заметили
на качество генерации там влияет только сама модель, если модель плохая то никакая температура не спасет
низкая температура, чтобы ответы около-детерменированные были а top_k там совсем не низкий а подводные камни - только формат промпта
Обсуждают сегодня