184 похожих чатов

Привет всем, есть какой-то универсальный способ для поиска по тексту?

Сейчас разбиваем строку на массив слов и потом hasAll(array, [‘hot, 'dog’]) по нужным словам

12 ответов

20 просмотров

Есть. Elasticsearch, например.

снаружи проверяете, что в результирующем массиве нет 1, но кх под это не заточен https://clickhouse.tech/docs/ru/sql-reference/functions/string-search-functions/#multisearchallpositions

https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/mergetree/#available-types-of-indices ngram data skip index можно попробовать, но это не полнотекстовый поиск ни разу

Bogdan-Kolesnik Автор вопроса
Slach [altinity]
https://clickhouse.tech/docs/en/engines/table-engi...

Как раз полнотекстовый не нужен, попробую

Slach [altinity]
https://clickhouse.tech/docs/en/engines/table-engi...

Я кстати так и не смог найти настройки, с которыми бы ngram индекс бы действительно что-то существенно ускорял для фильтрации текста логов :(. Может у кого-то есть пример?

Slach [altinity]
https://clickhouse.tech/docs/en/engines/table-engi...

Собственно, кажется с Вами я это и обсуждал год назад :). https://m.habr.com/ru/post/512084/comments/#comment_21885266

Yuran
Я кстати так и не смог найти настройки, с которыми...

Могу себе представить, что для поиска редко встречающихся значений он может подойти

Dmitry [Altinity] Titov
Могу себе представить, что для поиска редко встреч...

Теоретически — безусловно. Меня лично больше интересуют конкретные настройки, которые подходят для логов :). По ссылке выше я описывал свои варианты, которые пробовал.

Yuran
Теоретически — безусловно. Меня лично больше интер...

Для практики нужен датасет и ограниченных круг хотелок.

Yuran
Я кстати так и не смог найти настройки, с которыми...

ну .. у вас же врое получалось что-то около 2х раз ускорить? но в целом тут такое дело что data skip index существенно будут ускорять только если вы ищете что-то редкое. потому что оно проверяет не то что в данном парте искомый токен есть. а то что в данном парте искомого токена нет а если токен высокочастотный и есть в 100% партов, то наверное оно даже и замедлится слегка

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта