Всем привет. Кто-то видел модуль на кликхаус для вычисления kmeans?

Ничего сложного это написать на SQL. Тут - http://www2.cs.uh.edu/~ordonez/pdfwww/w-2004-KDD-sqlkm.pdf - делают на террадате, а в КХ это все сильно проще можно сделать с использованием массивов и/или туплов. Вот примерно так: -- data drop table YH; create table YH (Y Tuple(UInt32,UInt32)) engine = Memory; insert into YH select (number as x, rand32() % 100 as y) from numbers(100); -- Centroids drop table WCR; create table WCR ( ts DateTime, j UInt32, C Tuple(UInt32,UInt32), P Array(Tuple(UInt32,UInt32)) ) engine = Memory; insert into WCR select now(), rowNumberInAllBlocks()+1, Y , [] from YH limit 10,5; -- k-means insert into WCR select now(), j,(avg(Y.1),avg(Y.2)) as C, groupArray(Y) from (select Y.1+1 as i, argMin(j,L2Distance(Y,C)) as j, Y from YH, (select * from WCR order by ts desc limit 1 by j) as WCR group by i, Y order by j) group by j order by j; Сошлось за 13 инсертов. Что там получилось - не проверял. (Из недостатоков - зря оно квадратный корень считает в L2Distance, но так было красивее по коду. groupArray(Y) в проде конечно не должен остаться, да и всякие weight посчитать тоже надо).

0

08.01.2022

Lupsik Pupsik Автор вопроса

Boris
Ничего сложного это написать на SQL. Тут - http://...

ничосе ничего сложного. Ты кликхаус нинздя, я так не могу

0

08.01.2022

Boris

Lupsik Pupsik
ничосе ничего сложного. Ты кликхаус нинздя, я так ...

переделал с туплов на массивы и выложил - https://github.com/bvt123/clickhouse-k-means Надо сделать view к своим данным и запустить bash скрипт. В понятных случаях алгоритм дает ожидаемый результат. Однако ломается если кластеры очень хорошо отделены друг от друга. Но это сам k-means такой - человеку (в 2D) все понятно, а алгоритм лажает. Зато быстный.

0

10.01.2022

Lupsik Pupsik Автор вопроса

Boris
переделал с туплов на массивы и выложил - https://...

Боря, спасибо большое. Попробую

0

10.01.2022

Lupsik Pupsik Автор вопроса

Boris
переделал с туплов на массивы и выложил - https://...

может тебе имеет смысл как-то в этом PR поучаствовать https://github.com/ClickHouse/ClickHouse/pull/6185/files

0

10.01.2022

Slach [altinity]

Boris
переделал с туплов на массивы и выложил - https://...

круто =) молодец

0

10.01.2022

Dmitry [Altinity] Titov

Boris
переделал с туплов на массивы и выложил - https://...

Вообще таплы мне нравятся больше, тк таплы быстрее чем массивы работают

0

10.01.2022

Boris

Dmitry [Altinity] Titov
Вообще таплы мне нравятся больше, тк таплы быстрее...

мне тоже, я с них и начал. Но не получилось вычислить avg(Tuple()) без ручного перечисления элементов. Если есть такая функция (или какое-то хорошее преобразование туда-обратно) - конечно стоит на таплах все сделать. Ещё был минус, что L2Distance считает с квадратным корнем, который в этой задаче не нужен (тут просто сравнивают на больше-меньше).

0

10.01.2022

Dmitry [Altinity] Titov

Boris
мне тоже, я с них и начал. Но не получилось вычис...

Хм, вам нужно найти среднее всех элементов тапла?(и их число может быть большим? те многомерное пространство?))

0

10.01.2022

Slach [altinity] · Accepted Answer

Slach [altinity]

попробуйте свою на python сделать https://clickhouse.com/docs/en/sql-reference/functions/#user-defined-functions

0

08.01.2022

184 похожих чатов

Всем привет. Кто-то видел модуль на кликхаус для вычисления kmeans?

14 ответов

Похожие вопросы