Добрый день, подскажите, как сделать лучше, есть 10000 различных строк,

Question

Добрый день, подскажите, как сделать лучше, есть 10000 различных строк,

вносится 1миллиард строк, где один колумн, это содержимое одной из этих 10000 строк, лучше вынести их в отдельную таблицу и дать им ID и вносить его или просто вносить их в таблицу и не париться?

#backend #clickhouse #database #devops #programming #russian

0

16.01.2021

8 ответов

8 просмотров

Nikita Tikhomirov Автор вопроса

Denny [Altinity]
есть такая штука -- LowCardinality, примерно для в...

Да, я знаю про неё, просто боюсь, что потом 10 000 строк могут превратиться в 100 000

0

16.01.2021

Denny [Altinity]

Nikita Tikhomirov
Да, я знаю про неё, просто боюсь, что потом 10 000...

словарь в каждом парте свой

0

16.01.2021

Denny [Altinity]

Nikita Tikhomirov
Да, я знаю про неё, просто боюсь, что потом 10 000...

на самом деле решение можно принять только зная запросы которые будут выполняться над этой колонкой. И например джойн с таблицей на 100к это совсем не сахар. И словарь (ext.dictionary) тоже не сахар.

0

16.01.2021

Nikita Tikhomirov Автор вопроса

Denny [Altinity]
на самом деле решение можно принять только зная за...

Join'ы делаться не будут, только если на несколько сотен строк

0

16.01.2021

Denny [Altinity]

Nikita Tikhomirov
Join'ы делаться не будут, только если на несколько...

вы просто не понимаете что такое джойны. Вот например вы сохранили в большой таблице id = 777 В маленькой таблице у вас 100к строк, как вы расшифруете 777 в большой таблице? Вы сделаете джойн. Nested loop в КХ нету, HashJoin перекинет все 100к в память и будет делать это очень долго (100мс)

0

16.01.2021

Nikita Tikhomirov Автор вопроса

Denny [Altinity]
вы просто не понимаете что такое джойны. Вот напр...

Вынесу данные, которые мне нужны в ENGINE = Memory() и там сделаю Join

0

16.01.2021

Denny [Altinity]

Nikita Tikhomirov
Вынесу данные, которые мне нужны в ENGINE = Memory...

ахаха.

0

16.01.2021