170 похожих чатов

Привет. Кто-то решал задачу проверки текста на содержание в нём

определённого слова или фразы с помощью gpt? Часто сталкиваюсь с тем что модель просто проскакивает нужное слово/фразу в тексте.

7 ответов

8 просмотров

А зачем для этого GPT? Если нужно точное вхождение слова, достаточно поиска подстроки) (если интересует с точностью до морфологии, то можно всё лемматизировать и дальше снова искать подстроку)

Олег- Автор вопроса

Рулы не модные =) А если серьёзно. То часто нужный нер определяется какой-то фразой, которую по идее за счёт позиционных эмбеддингов и селф-атеншена gpt должен проще находить, чем прописывать вагон рулов на ярги. Ну и бонусом, если текст после s2t то llm может понять ошибку орфографии, а с рулами становится печально.

Олег
Рулы не модные =) А если серьёзно. То часто нужный...

А почему GPT, а не BERT(encoder) для задачи token classification? можно ещё регулярки использовать или нечеткий поиск 🤦‍♂️ «{хорош|замечательн|прекрасн).{0,5}компани»

David Dalé
А зачем для этого GPT? Если нужно точное вхождение...

потому что сейчас все нужно делать на чатгпт по той же самой причине, почему вы все стали делать нейросетями

Олег
Рулы не модные =) А если серьёзно. То часто нужный...

Я бы не стал делать через чатгпт из-за клиент/серверного API. Нагрузка на сеть будет. Реальная задача: у меня поиск по 35 миллиону текстов, тогда сколько ждать ответ от сервера OpenAI на каждый текст? Здесь лучше подходит ElasticSearch.

Это да, согласен. NER думаю извлекать пока что Наташей.

Erdeni
Я бы не стал делать через чатгпт из-за клиент/серв...

Могли бы это обсудить в лс тк делаем решение как раз для такой задачи и будет работать без эластика

Похожие вопросы

Обсуждают сегодня

Вопрос по диагностике ошибок (я знаю в чем, в данном конкретном примере, я знаю, как исправить, пример модельный, понятно, что в реальности бывает намного запутаннее). module...
ⰄⰎⰋⰐⰐⰑⰛⰤⰧⰧⰩⰄ ⰊⰑⰁⰓⰡⰛⰦⰕⰫ
10
А дальше что?.. Записать в файл, потом в Код?.. И потом разбирать как-то?..
Хаскель Моисеевич Гопник
14
А чем вам питонисты не угодили?😂
.
79
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
48
type TObj = object procedure Init; virtual; end; TObj1 = object(TObj) procedure Init; override; end; procedure TObj1.Init; begin inherited; end; procedur...
Alexander 👋
29
@y0zhig @shizzard А можно я опишу цель и может вообще ерланг мне не подходит. На текущий момент как я понимаю у ерланга есть легковесные потоки и задача выполняется в каком т...
Дмитрий Спиридонов
5
Есть предложения, как подобное можно упростить?
Hemul GM
12
У меня вопросик назрел. Почему, создав класс без наследования и реализации деструктора Destroy, деструктор не вызывался при free. Потом указал наследование от tobject и overri...
Сергей Бычков
9
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
86
Такой вопросец - есть функция function MySuperDuperConcat(const a: array of AnsiString): AnsiString; Как мне в её теле сделать вот так? Result:=Concat(a); А не грустный вариан...
notme
15
Карта сайта