Дайте пожалуйста направление для изучения темы. Необходимо сделать анализ отзывов

о товарах с помощью chatgpt. Чтобы можно было потом к проанализированным данным обращаться с произвольными запросами (типа укажи основные недостатки и достоинства, опиши как используют товар покупатели, предложи идеи по улучшению качества и прочее). Как это реализовать? Сделать эмбеддинг на отзывы, но как потом через API задавать вопросы к этим векторам? Сделать fine-tuning, но как потом получать информацию только об этих отзывах и никаких других?

https://t.me/llm_under_hood Вэлкам

если прям просто надо, то подойдет любой сервис типа chatpdf, куда загрузить все ваши отзывы в читабельном виде. и разговаривайте с ним. q&a retrievel

Это все пока на этапе проверки жизнеспособности идеи. Главное быть уверенным, что проанализирован весь объем информации. Например если отзывов тысяч 20, а в последних 2000 начались встречаться какие-то новые недостатки (качество упало), то на выходе надо гарантированно получать эту информацию. Пока в голову пришло только анализировать каждый отзыв в отдельности (но это мне кажется оверлимит по запросам), и наверняка есть способы решить вопрос лучше. Вам спасибо за информацию, буду смотреть в эту сторону.

я бы сделал так-три раза бы скопировал блоки и поместил один за другим, а потом бы загрузил в модель. есть информация что внимание к середине текста падает по какой то причине. сам не встречался с этим, но, мало ли.

важно промтить еще правильно при запросе в контекст, что мол "последние 2000 отзывов качесвто упало но ты не должен суммировать все отзывы а выстроить их во временную шкалу и отвечать исходя из временной шкалы из прошлого в будущее .." и тд

Может, чтобы уменьшить количество анализируемых отзывов, использовать тематическое моделирование? По идее, когда что-то меняется в отзывах, тогда и распределение топиков будет меняться. То есть сначала ищем аномалии с помощью тематического моделирования, а потом более предметно смотрим с помощью gpt. Есть такая задача, как event detection, там надо в потоке сообщений находить какие-то события, как раз-таки в подходах к решению этой задачи и используется тематическое моделирование, как я описал выше.

я пока анализирую вручную через Claude (или чатгпт) - беру промпт, где описываю что мне надо и прикрепляю к нему несколько (в контекст влазит до 30) случайных отзывов. И так повторяю несколько раз. Потом еще результат (копирую результат) прошу суммировать или что-то написать. Отзывы у меня обычно достаточно однотипные, хватает сотни случайных отзывов

Мне не подходит это вариант. Решение должно быть гибким (поддерживать любое количество отзывов) и выполняться с минимальным участие человека. В идеале человек должен дать данные (файл, ссылка или ещё какие-нибудь) а далее просто ввести запрос. И должна быть уверенность, что мы не упустили ни один массовый случай.

А почему это обязательно через отзывы определять? Если качество упадет, то возникнут возвраты/отказы - их изменение быстрее можно отследить

Наверное, тут надо думать как работать с топиками, т.к. если ему давать каждый отзыв поотдельности, то он будет заново их придумывать Да и не всегда люди пишут отзывы так, что их можно понять) 1 Отличный блендер, мы в восторге 🥰 опробовали его сразу, смузи получается восхитительный 😝 закажу еще для брата)) 2 Просмотрела много портативных блендеров и остановилась на этом. Пришёл хорошо упакованный. Дизайн супер, очень стильный. Работает хорошо. Мягкие продукты перемалывает хорошо, твёрдые надо включать несколько раз и взбалтывать. Покупкой довольна, спасибо большое продавцу за данный продукт. 3 Товар никакой от слова совсем,только жужжит и ничего не перемалывает,даже чищенную мягкую грушу… 4 Добрый день, только что выкупили блендер, принесли домой, поставили на зарядку, через 15 минут сняли, и вылетела одна из палочек зарядного устройства. Что теперь делать? 5 "Сегодня забрала блендер. Измельчила ребенку фрукты , справился отлично 👍 Буду брать с собой на природу. Оказался очень мощным."

Может сначала обучить на анализ тональности? Положительный/Негативный/Нейтральный И работать по недостаткам с Негативными, для начала

В некоторых случаях (где есть бальная система например), это можно обработать до gpt через скрипты

В моем предложении обучить = дообучить обычный легковесный локальный трансформер