для этой задачи использую библиотеку nlpTools на php, но она не устраивает своей простотой, ибо при накоплении данных строит примитивную модель, в которой каждому слову присваивает вес, а при анализе только суммирует веса и выдает результат по максимальному значению. Связи слов между собой не сохраняет, не анализирует, никак не учитывает. Из-за этого точность определения получается очень низкой.
В идеале инструмент нужен на PHP/JS, но рассмотрю и другие языки, если освоение библиотеки не потребует "полуговодового" изучения.
Подскажите, какие есть инструменты, позволяющие решить задачу, учитывающие при обучении связи слов?
Могу подсказать только относительно питона NLP-шные либы: fasstext, word2vec, nltk, pymorphy, deeppavlov. Отдельно для эмбеддингов (если не обучать эмбеддинг-слой) можно использовать fasttext, различные векторайзеры из либы sklearn (TfdfVectorizer, Countvextorizer) Можешь еще погуглить как используют сетки LSTM, Bi-LSTM, BERT для классификации текстов
Обсуждают сегодня