без ChatGPT?
А что есть качество вопросов и ответов?
Глазками
Есть текст. Если вопрос уместен к тексту он хороший. Если ответ подходит к вопросу и он извлечён из этого текста - он тоже хороший)
Для английского есть датасет QNLI, как раз из таких триплетов: текст – вопрос – есть ли в тексте ответ на этот вопрос. На нем можно обучить классификатор, и потом его использовать для оценки качества сгенерированных вопросов. Для русского подобный датасет можно взять из SberQuAD
Обсуждают сегодня