Коллеги, доброй ночи. Бахнул вчера вечером в таблицу почти 2

Question

Коллеги, доброй ночи. Бахнул вчера вечером в таблицу почти 2

млрд записей. В таблице 2 скип индекса. С момента заливки данных прошли почти сутки, бд до сих пор оклематься не может. Запросы по первичному индексу выполняются минут по 5. Хотя он и выводит мне результат быстро, но запрос не прекращается. Подскажите пожалуйста в чём проблема? Это фоном так индексы просчитываются новые и пересортировка таблицы по первичному происходит?

И заодно, подскажите, кто знает. Как понять, что переиндексирование таблицы закончено?

#backend #clickhouse #database #devops #programming #russian

0

01.05.2022

10 ответов

24 просмотра

Denny [Altinity]

нет никакого фоном. Все индексы ВСЕГДА построены окончательно по завершению инсерта

0

01.05.2022

i ☭ Автор вопроса

Tagir Gumerov
Что значит "выводит мне результат быстро, но запро...

это обычный консольный клиент кликхауса, в терминале

0

01.05.2022

i ☭ Автор вопроса

Denny [Altinity]
нет никакого фоном. Все индексы ВСЕГДА построены о...

В фоновом режиме ClickHouse выполняет слияния кусков данных для более эффективного хранения. Я вот это скорее имел в виду. Не влияет ли этот процесс

0

01.05.2022

Denny [Altinity]

i ☭
В фоновом режиме ClickHouse выполняет слияния куск...

99% мержей случились в момент инсерта, оставшийся 1% ни на что не влияет и закончился минут через 5 после последнего инсерта

0

01.05.2022

Denny [Altinity]

запрос по первичному индексу select * ? сколько времени выполняется select count()

0

01.05.2022

i ☭ Автор вопроса

Denny [Altinity]
запрос по первичному индексу select * ? сколько вр...

да, по первичному. count выдаётся мгновенно

0

01.05.2022

Denny [Altinity]

i ☭
да, по первичному. count выдаётся мгновенно

короче ваша проблема вообще никак не связана с инсертами, мержами, индексами

0

01.05.2022

i ☭ Автор вопроса

Denny [Altinity]
короче ваша проблема вообще никак не связана с инс...

как тогда можно объяснить ситуацию, когда при 500млн записей поиск по первичному индексу отрабатывает менее, чем за секунду, а при 2млрд - 5 минут?

0

01.05.2022

Denny [Altinity]

i ☭
как тогда можно объяснить ситуацию, когда при 500м...

я знаю 48 объяснений, как-то не хочется проверять все. джойн есть? аггрегация? сортировка? покажите explain estimate ваш_select и set send_logs_level='trace'; ваш_select ... format Null;

0

01.05.2022

Tagir Gumerov · Accepted Answer

Tagir Gumerov

Что значит "выводит мне результат быстро, но запрос не прекращается"? Это datagrip? Покажите ddl и запрос

0

01.05.2022

184 похожих чатов

Коллеги, доброй ночи. Бахнул вчера вечером в таблицу почти 2

10 ответов

Похожие вопросы