Всем привет. Подскажите, пожалуйста, на что влияет GRANULARITY в индексе

Question

ClickHouse не тормозит

Mark F

Всем привет. Подскажите, пожалуйста, на что влияет GRANULARITY в индексе

и как правильно его выбрать?

#backend #clickhouse #database #devops #programming #russian

0

17.02.2021

10 ответов

42 просмотра

Mark F Автор вопроса

lnuynxa
Сколько обычных гранул (8192 строки по дефолту) пр...

например если я делаю индекс на visitor_id (уникальный для каждого юзера) и ~ 20млн юзеров, то сколько GRANULARITY я должен выставить?

0

17.02.2021

Alexey Sokolov

Mark F
например если я делаю индекс на visitor_id (уникал...

Имейте в виду, что уменьшение гранулярности ведёт к увеличению размера индекса (который во время запроса целиком считывается в оперативку) и увеличению времени выполнения запроса. Я на выходных пробовал подбирать оптимальный index_granularity для похожей таблицы (по степени двойки перебрал значения от 8 до 16384) и ни один из вариантов не был быстрее дефолтного 8192.

0

17.02.2021

lnuynxa

Alexey Sokolov
Имейте в виду, что уменьшение гранулярности ведёт ...

index_granularity это чуть другое

0

17.02.2021

Alexey Sokolov

lnuynxa
index_granularity это чуть другое

А, пардон. Я всё о своей боли)

0

17.02.2021

lnuynxa

Alexey Sokolov
А, пардон. Я всё о своей боли)

Ваша конкретная боль заключается в том, что есть блок компрессии который составляет 65к строк, и кх с диска должен прочитать именно его

0

17.02.2021

Alexey Sokolov

lnuynxa
Ваша конкретная боль заключается в том, что есть б...

Об этом не знал, пойду почитаю. Спасибо.

0

17.02.2021

lnuynxa

Alexey Sokolov
Об этом не знал, пойду почитаю. Спасибо.

https://altinity.com/blog/clickhouse-in-the-storm-part-2

0

17.02.2021

Alexey Sokolov

lnuynxa
https://altinity.com/blog/clickhouse-in-the-storm-...

Спасибо!

0

17.02.2021

Tomazov Evgeniy

Alexey Sokolov
Имейте в виду, что уменьшение гранулярности ведёт ...

я сравнивал не по времени выполнения запроса Elapsed, а по количеству срок Processed — index_granularity=256. Elapsed: 0.527 sec. Processed 1.01 million rows, 58.99 MB (1.92 million rows/s., 111.95 MB/s.) index_granularity=1024. Elapsed: 0.550 sec. Processed 1.77 million rows, 72.48 MB (3.22 million rows/s., 131.87 MB/s.) index_granularity=4096. Elapsed: 0.637 sec. Processed 4.39 million rows, 116.25 MB (6.89 million rows/s., 182.42 MB/s.) index_granularity=8192. Elapsed: 0.591 sec. Processed 6.42 million rows, 147.89 MB (10.85 million rows/s., 250.06 MB/s.) получилось что у index_granularity=256 меньше всего Elapsed я так понимаю, что запрос оптимальнее использует индекс при 256

0

30.03.2021

lnuynxa · Accepted Answer

lnuynxa

Сколько обычных гранул (8192 строки по дефолту) приходится на одну засечку индекса

0

17.02.2021

184 похожих чатов

Всем привет. Подскажите, пожалуйста, на что влияет GRANULARITY в индексе

10 ответов

Похожие вопросы