170 похожих чатов

Привет. Кто-то решал задачу проверки текста на содержание в нём

определённого слова или фразы с помощью gpt? Часто сталкиваюсь с тем что модель просто проскакивает нужное слово/фразу в тексте.

7 ответов

15 просмотров

А зачем для этого GPT? Если нужно точное вхождение слова, достаточно поиска подстроки) (если интересует с точностью до морфологии, то можно всё лемматизировать и дальше снова искать подстроку)

Олег- Автор вопроса

Рулы не модные =) А если серьёзно. То часто нужный нер определяется какой-то фразой, которую по идее за счёт позиционных эмбеддингов и селф-атеншена gpt должен проще находить, чем прописывать вагон рулов на ярги. Ну и бонусом, если текст после s2t то llm может понять ошибку орфографии, а с рулами становится печально.

Олег
Рулы не модные =) А если серьёзно. То часто нужный...

А почему GPT, а не BERT(encoder) для задачи token classification? можно ещё регулярки использовать или нечеткий поиск 🤦‍♂️ «{хорош|замечательн|прекрасн).{0,5}компани»

David Dalé
А зачем для этого GPT? Если нужно точное вхождение...

потому что сейчас все нужно делать на чатгпт по той же самой причине, почему вы все стали делать нейросетями

Олег
Рулы не модные =) А если серьёзно. То часто нужный...

Я бы не стал делать через чатгпт из-за клиент/серверного API. Нагрузка на сеть будет. Реальная задача: у меня поиск по 35 миллиону текстов, тогда сколько ждать ответ от сервера OpenAI на каждый текст? Здесь лучше подходит ElasticSearch.

Это да, согласен. NER думаю извлекать пока что Наташей.

Erdeni
Я бы не стал делать через чатгпт из-за клиент/серв...

Могли бы это обсудить в лс тк делаем решение как раз для такой задачи и будет работать без эластика

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта