170 похожих чатов

Ребят сорри за оффтоп. Есть задача. Есть файлы с наименованиями

продуктов, которые заполняются людьми. Проблема в том, что одно и тоже название товара может иметь ошибки в названии. Алгоритмы нечеткого поиска работают не очень. Нужен ai специализированный. Есть ли, что-то готовое ?

16 ответов

11 просмотров

Расстояние левинштейна тебе надо

Руслан-X Автор вопроса
Руслан X
Слишком много ошибок

Интерфейс меняй . Проще интерфейс ввода поменять чем убить пару человека лет на ИИ

Руслан-X Автор вопроса
Yegor
Интерфейс меняй . Проще интерфейс ввода поменять ч...

Не возможно. Это исходные данные так они и приходят. Сейчас эту проблему решает ручной труд

Руслан X
Не возможно. Это исходные данные так они и приходя...

если тебе левиншейн помогает - городи ИИ - только имхо это еще хуже будет

Руслан-X Автор вопроса
Yegor
если тебе левиншейн помогает - городи ИИ - только ...

Задача увеличить продуктивность команды, которая руками все проверяет и забивает данные. Сейчас понятно, что полностью автоматизировать это не получится. Но левеншейн алгоритм, помогает лишь отчасти. Просто есть ещё синонимы

Руслан X
Задача увеличить продуктивность команды, которая р...

Строй тогда базу синонимов . Я чет не понял допустим есть сыр , кто-то пишет хуыр?

Руслан-X Автор вопроса
Yegor
Строй тогда базу синонимов . Я чет не понял допуст...

Сыр плохой пример. Хлеб и булка отличные примеры

Руслан X
Сыр плохой пример. Хлеб и булка отличные примеры

Хлеб это более общие название куда входит и булка

Руслан-X Автор вопроса
Yegor
Хлеб это более общие название куда входит и булка

Если PoC не реализуем, то это тоже норм. Просто хотя бы понимать насколько выиграет бизнес от этого. Может легче увеличить команду ручного труда и забить

Руслан X
Если PoC не реализуем, то это тоже норм. Просто хо...

Ограничьте возможности изначального ввода списком допустимых вариантов )

Руслан-X Автор вопроса
Artem (☞゚ヮ゚)☞ Bortnikov
Ограничьте возможности изначального ввода списком ...

Блин я же написал что это исходные данные. Для нас это third-party. Для того, чтобы сделать по-нормальному, есть нужно ставить отдельный терминал и разработать софт под него

Руслан X
Если PoC не реализуем, то это тоже норм. Просто хо...

просто дайте тем кто у вас занимается этим удобный интерфейс и собирайте базу синонимов для начала , ну и левинщтейн на случай описок

O_O А нету универсальной модели, я бы в несколько этапов это всё прогонял 1. Нормализация по кодировке, т.е. Убедиться что все "букавы" в одной кодировке и нет путаницы, допустим, латиницы и кириллицы. 2. Тут неплохо бы параллельно проверить: 2.1. Суммарный набор букв "птому что самые расрпотсанённые оишбки это полседоваетльнотсь букв". 2.2. Вторая распостранённая ошибка - соседние коавишы. 2.3. Что-то вроде soundex для используемого языка, чтобы забороть безграмотность оператора, который пишет "цвет: сЕреневый" И на каждом этапе тыкался бы в словарь. Тут ещё по-хорошему нужен лёгкий NLP Как то так.

Была похожая задача. Использовал на питоне SpaCy и из него модель ru_core_news_lg и потом у неё .similarity(). Работало достаточно неплохо. Только это было на хакатоне)) В проде не тестировал

Руслан X
Не возможно. Это исходные данные так они и приходя...

Подключить апи чата гпт, дайте ему установки на естественном языке, он сам все отфильтрует

Похожие вопросы

Обсуждают сегодня

Мужики и девушки, привет) в Вelphi xe7 в настройках во вкладке "Editor Options" далее " Color" есть список: "Elements", открыв который мы можем настраивать отображение разных...
Kraszx
14
Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
24
Я вот подумал. SSE выполняет операции максимум с 64-битной точностью. А FPU - всегда с 80-битной. Разве не должно быть FPU точнее тогда?
The Bird of Hermes
13
как быть с принтером? такой подход прокатит?
zamtmn
12
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
Всем привет! Подскажи, пожалуйста, как передать в TComboBox сразу значение и id записи. На Delphi я делал так: ComboBox1.Items.AddObject('Какое-то значение', Pointer(id запис...
Евгений
13
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
Я не понимаю, это троллинг или что? Швабрика поддерживают, который буквально пишет на ассемблере взаимодействия с винапи. Я это ещё написал загрузчик и хоть что-то изучаю в о...
Shadow Akira
6
А вот это что за конструкция? Вернее, она тут нафига?
Serjone
10
Привет. Подскажите, как правильно сматчить лист фиксированного размера, чтобы компилятор не говорил мне о неполном паттерне? Допустим что-то такое [x', y'] = sort [x, y]?
Arseny
8
Карта сайта