Здравствуйте. Использую GPT-2 модель для генерации текста. Можно ли как

Question

Здравствуйте. Использую GPT-2 модель для генерации текста. Можно ли как

то оценить на выходе "качество" текста? Т.е. какой то вес (уверенность) посчитать, которое кореллирует с понятием "хороший" с точки зрения читабельности и смысла текста?

#nlp #programming #russian

0

24.10.2021

12 ответов

24 просмотра

Dmitry S Автор вопроса

Andrey
лайки в соцсетях ;)

Это можно) хотелось бы математическую метрику какую то иметь

0

24.10.2021

Daniil

BLEU, ROUGE и human evaluation. Ничего лучше пока не придумали)

0

24.10.2021

Dmitry S Автор вопроса

Daniil
BLEU, ROUGE и human evaluation. Ничего лучше пока ...

Это понятно. Вопрос тут в другом. Запустил генерацию на созданной модели 3 раза - получил три разных выхода. Можно ли как то оценить "качество" текста, чтобы показать самый лучший вариант пользователю?

0

24.10.2021

Daniil

Dmitry S
Это понятно. Вопрос тут в другом. Запустил генерац...

А что вы понимаете под "качеством" текста?

0

24.10.2021

Dmitry S Автор вопроса

Daniil
А что вы понимаете под "качеством" текста?

Вопрос хороший. Сгенерирован бред, сгенерирован текст более менее вменяемый. Только непонятно как это оценить математически. Допустим если берём классификатор текста, там есть confidence, по которому можно определять что модель хорошо уверена в выходном результате.

0

24.10.2021

Daniil

Dmitry S
Вопрос хороший. Сгенерирован бред, сгенерирован те...

А что вы собираетесь классифицировать?

0

24.10.2021

Andrey

Dmitry S
Вопрос хороший. Сгенерирован бред, сгенерирован те...

так может каким отдельным бертом замерить?

0

24.10.2021