не скалярную, а векторную форму определять:
F(x, y) = (x^2 , y^2 , sqrt(2)*x*y)
ещё раз перепишу:
<X,Y>^2 = (x1*y1+x2*y2)^2 = <F(X), F(Y)> = <X', Y'>
X=(x1,x2)
Y=(y1,y2)
X'=(x1^2, x2^2, sqrt(2)*x1*x2)) = F(X)
Y'=(y1^2, y2^2, sqrt(2)*y1*y2)) = F(Y)
теперь-то всё верно?
Обобщим: подобное преобразование, которое позволяет записать функцию как скалярное произведение некоторой функции от первого вектора на функцию от второго вектора — называется ядерным преобразованием, или ядром.
Для SVM это основная идея преобразования:
Если выразить расстояние через скалярное произведение и дополнительную функцию над скалярным произведением, то можно получить другую эквивалентную формулировку задачи SVM, которая вычислительно проще.
в последнем примере мы получили двумерное полиномиальное ядро, которое сводит одну функцию — квадрат скалярного произведения, в другую — просто скалярное произведение, но в новых координатах.
подобный трюк позволяет нам переходить от одних распределений величин к другим.
В kNN эта идея "записать всё через скалярное произведение" тоже применяется, но чуть-чуть другим образом:
вместо того, чтобы считать попарные разницы векторов (что требует много места), мы можем один раз посчитать матрицу скалярных произведений, как в верхнем примере с матрицей расстояний, а дальше воспользоваться формулой:
L2(X, Y) = K(X,X) + K(Y, Y) - 2*K(X, Y)
нам теперь нужно вычислять лишь матрицу скалярных произведений K(X, Y), а K(X,X) и K(Y,Y) — главная диагональ на этой матрице и мы получаем их бесплатно.
X'=(x1^2,x2^2,sqrt(2)*x1, x2))=F(X) X' = F(X) - это функция. А как результат функции выглядит тогда, и что внутри этой функции?
Обсуждают сегодня