лучше заводится, помнит контекст, не односложно отвечает? А то все ретривелы мерят на датасете Убунты
Ну например в статье про blenderbot-1 было такое сравнение: https://arxiv.org/abs/2004.13637 Правда, это было 3 года назад, с тех пор LM ушли сильно впереди. А если отвечать на ваш вопрос, то по контексту генеративные модели бьют retrieval. Односложность сильно зависит от настроек инференса: и в LM, и в retrieval можно очень по-разному сэмплить ответы. По «легкости заведения» как будто сейчас LM выигрывают, но сильно зависит и от задачи, и от доступных ресурсов.
Мы сравнивали непублично, примерно поровну выходило
Ага, забыл про блендер. Если я правильно понял, то чистый ретривел уже тогда проигрывал генеративе
Обсуждают сегодня