Всем привет, заранее извиняюсь, если это не место для нубских

вопросов, но всё же.

Есть у меня данные. Несколько миллиардов "событий".
Поля есть общие для всех, а есть те, что различаются в зависимости от "типа" событий и хочется иметь плоское отображение всех событий вместе

У некоторых типов есть строковые поля, для которых есть желание искать по подстроке.

Я сделал первый наивный заход на данные отсортированные по времени и skip-index token_bf по этим строковым полям. Наивная реализация показывает, что поиск "первые 10 записей, где в поле A содержится строка B" выполняется где-то за 10 секунд. Для бизнеса нужно сжать это примерно в секунду, а желательно меньше. Не подскажете в какую сторону копать? (Изменение схемы, тюнинг параметров хранения, использование другого, более подходящего инструмента)


Сейчас это всё работает на Distributed таблице на кластере из трёх серверов.

Заранее спасибо.

вы уверены что у вас skip indexes используются? запустите clickhouse-client в нем SET send_log_level='trace'; и посмотрите что показывается

какой у вас primary key?

ORDER BY есть в запросе?

Очень много вот такого вида строк [ch-02.ru.tds] 2020.12.14 11:22:25.880166 [ 649228 ] {2cf3d4cf-bab5-4d5f-adca-4ca091551b25} <Trace> default.`.inner_id.4911e67e-91f4-441e-9e30-64313c4cd10b` (e45f44e5-42e4-447f-9abb-1efa3b9f35b2) (SelectExecutor): Running binary search on index range for part 855327e6fc45d96cf83f937bba1e9252_10521_10521_0 (28 marks) [ch-02.ru.tds] 2020.12.14 11:22:25.880187 [ 532604 ] {2cf3d4cf-bab5-4d5f-adca-4ca091551b25} <Trace> default.`.inner_id.4911e67e-91f4-441e-9e30-64313c4cd10b` (e45f44e5-42e4-447f-9abb-1efa3b9f35b2) (SelectExecutor): Running binary search on index range for part 855327e6fc45d96cf83f937bba1e9252_10522_10522_0 (27 marks) [ch-02.ru.tds] 2020.12.14 11:22:25.880200 [ 649228 ] {2cf3d4cf-bab5-4d5f-adca-4ca091551b25} <Trace> default.`.inner_id.4911e67e-91f4-441e-9e30-64313c4cd10b` (e45f44e5-42e4-447f-9abb-1efa3b9f35b2) (SelectExecutor): Found (LEFT) boundary mark: 0 [ch-02.ru.tds] 2020.12.14 11:22:25.880214 [ 532604 ] {2cf3d4cf-bab5-4d5f-adca-4ca091551b25} <Trace> default.`.inner_id.4911e67e-91f4-441e-9e30-64313c4cd10b` (e45f44e5-42e4-447f-9abb-1efa3b9f35b2) (SelectExecutor): Found (LEFT) boundary mark: 0 [ch-02.ru.tds] 2020.12.14 11:22:25.880225 [ 649228 ] {2cf3d4cf-bab5-4d5f-adca-4ca091551b25} <Trace> default.`.inner_id.4911e67e-91f4-441e-9e30-64313c4cd10b` (e45f44e5-42e4-447f-9abb-1efa3b9f35b2) (SelectExecutor): Found (RIGHT) boundary mark: 28 [ch-02.ru.tds] 2020.12.14 11:22:25.880239 [ 532604 ] {2cf3d4cf-bab5-4d5f-adca-4ca091551b25} <Trace> default.`.inner_id.4911e67e-91f4-441e-9e30-64313c4cd10b` (e45f44e5-42e4-447f-9abb-1efa3b9f35b2) (SelectExecutor): Found (RIGHT) boundary mark: 27 [ch-02.ru.tds] 2020.12.14 11:22:25.880252 [ 649228 ] {2cf3d4cf-bab5-4d5f-adca-4ca091551b25} <Trace> default.`.inner_id.4911e67e-91f4-441e-9e30-64313c4cd10b` (e45f44e5-42e4-447f-9abb-1efa3b9f35b2) (SelectExecutor): Found continuous range in 9 steps [ch-02.ru.tds] 2020.12.14 11:22:25.880259 [ 532604 ] {2cf3d4cf-bab5-4d5f-adca-4ca091551b25} <Trace> default.`.inner_id.4911e67e-91f4-441e-9e30-64313c4cd10b` (e45f44e5-42e4-447f-9abb-1efa3b9f35b2) (SelectExecutor): Found continuous range in 9 steps