215 похожих чатов

Товарищи, а насколько разумно проводить кластеризацию 500 объектов по 100

признакам?
Необходимо ли предварительно снизить размерность каким-нибудь PCA?

10 ответов

8 просмотров

Предположим после PCA ушло 50% признаков, поменяется ли что-либо в вашем вопросе тогда?

Oleg-Antonovich Автор вопроса
Sergei L
Предположим после PCA ушло 50% признаков, поменяет...

В целом, нет. Может, я неправильно сформулировал вопрос. Я хотел бы узнать: плохо ли ведут себя алгоритмы кластеризации при большой размерности, нужно ли с этим бороться (как, например, нужно избавляться от разной размерности в кластеризации или от мультиколлинеарности в линейной регрессии)

Oleg Antonovich
В целом, нет. Может, я неправильно сформулировал в...

Общий концепт: все обусловлено данными. чего-то плохого в общем смысле нет. Если данные у вас в принципе не образуют кластера, то понятно дело без каких-то предоборботок их получить не удасться (если вообще можно и т.д)

Oleg Antonovich
Спасибо большое

нз (не сказал, но вы должы понимать, что в каком-то смысле теряете информацию в замен на "упрощение". такова цена обработки; т.е. просто так фигачить, что попало - так себе тема без "подумать и проанализировать")

Oleg Antonovich
Спасибо большое

вообще еще есть иерархическая (агломеративная) кластеризация -- если грубо, можно настраивать количество кластеров (типо, не доводить до 1, 2, 3, ... элементов в кластере, если считаешь, что это маленький кластер), не уверен ,что классно объяснил, но погугли)

А какой алгоритм кластеризации ты выбрал?

Oleg-Antonovich Автор вопроса
Max 🍿
А какой алгоритм кластеризации ты выбрал?

В процессе выбора, но не рассматриваю иерархические. Конкретно сейчас остановил взгляд на mean shift

Oleg Antonovich
В целом, нет. Может, я неправильно сформулировал в...

Смотря на чем основан алгоритм кластеризации? Косинусная мера близости?

Oleg Antonovich
В целом, нет. Может, я неправильно сформулировал в...

Почитайте про "проклятие размерности". Грубо говоря, чем больше измерений у пространства, тем сложнее разделить в нём точки на кластеры.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта