определённого слова или фразы с помощью gpt? Часто сталкиваюсь с тем что модель просто проскакивает нужное слово/фразу в тексте.
А зачем для этого GPT? Если нужно точное вхождение слова, достаточно поиска подстроки) (если интересует с точностью до морфологии, то можно всё лемматизировать и дальше снова искать подстроку)
Рулы не модные =) А если серьёзно. То часто нужный нер определяется какой-то фразой, которую по идее за счёт позиционных эмбеддингов и селф-атеншена gpt должен проще находить, чем прописывать вагон рулов на ярги. Ну и бонусом, если текст после s2t то llm может понять ошибку орфографии, а с рулами становится печально.
А почему GPT, а не BERT(encoder) для задачи token classification? можно ещё регулярки использовать или нечеткий поиск 🤦♂️ «{хорош|замечательн|прекрасн).{0,5}компани»
потому что сейчас все нужно делать на чатгпт по той же самой причине, почему вы все стали делать нейросетями
Я бы не стал делать через чатгпт из-за клиент/серверного API. Нагрузка на сеть будет. Реальная задача: у меня поиск по 35 миллиону текстов, тогда сколько ждать ответ от сервера OpenAI на каждый текст? Здесь лучше подходит ElasticSearch.
Это да, согласен. NER думаю извлекать пока что Наташей.
Могли бы это обсудить в лс тк делаем решение как раз для такой задачи и будет работать без эластика
Обсуждают сегодня