#Clustering Доброго времени суток, кто-нибудь решал задачу с кластеризацией, а

Question

#Clustering Доброго времени суток, кто-нибудь решал задачу с кластеризацией, а

именно, чтобы кластеризация не переобучалась каждый раз, а группировалась уже к существующим. А если, скажем нет поблизости никого то образует кластер в том случаи когда будут рядом в какой-то дистанции R, и кол-во элементов >= 3 и тд. Проблема в том, что новостей 4-5 млн и она будет возрастать в день по 2-3к, и каждый раз переобучать кластеризацию слишком затратно. На данный момент стоит DBSCAN, и вы знаете что он иногда уходит за O(N^2) по времени и это очень долго. Как можно обойти такую проблему? Что лучше применить?

#database #programming #russian #software

0

13.11.2018

3 ответов

3 просмотра

Tanya

надо гуглить "online clustering". Находится, например, это https://scikit-learn.org/stable/modules/generated/sklearn.cluster.Birch.html или уже упомянутый online k-means

0

13.11.2018

Alexander Sychikov

Есть разные реализации k-means mini batch. Находил от фейсбука, но я пользовался sklearn реализацией.

0

13.11.2018

Daniel Kogan · Accepted Answer

Daniel Kogan

А нужно ди переобучать кластеризацию? 4-5кк - довольно большая выборка, а прирост небольшой, почему не зафиксировать центры кластеров один раз и не использовать дальше как классификатор для новых данных? Пробовали k-means?

0

13.11.2018

215 похожих чатов

#Clustering Доброго времени суток, кто-нибудь решал задачу с кластеризацией, а

3 ответов

Похожие вопросы