Всем привет. У нас возник определенный юз-кейс и мы думаем,

Question

Всем привет. У нас возник определенный юз-кейс и мы думаем,

подходит ли Кликхаус для такого (вроде бы да). Надо хранить 100 млрд строк (ок), делать большие сканы (ок), и выгружать большие результаты сканов, допустим сотни миллионов записей. Есть ли какие-нибудь подводные камни с последним?

#backend #clickhouse #database #devops #programming #russian

0

03.03.2021

9 ответов

14 просмотров

sdev E Автор вопроса

Denny [Altinity]
а чем не подходит S3 ? КХ про аггрегацию, а не пр...

Речь идет о сканах (фильтрации), которая порождает большие результаты.

0

03.03.2021

Denny [Altinity]

sdev E
Речь идет о сканах (фильтрации), которая порождает...

hdfs / hadoop ?

0

03.03.2021

sdev E Автор вопроса

Denny [Altinity]
hdfs / hadoop ?

Да, это один из вариантов. Но наверное эффективней это будет хранить в КХ.

0

03.03.2021

sdev E Автор вопроса

sdev E
Да, это один из вариантов. Но наверное эффективней...

Тут много нюансов, почему так или не этак, долго рассказывать. Просто интересно, может ли хранить КХ промежуточные результаты допустим в сотни мегабайт и отдавать их по сети. Может тут есть какой-нибудь подводный камень.

0

03.03.2021

Denny [Altinity]

sdev E
Да, это один из вариантов. Но наверное эффективней...

это сложный вопрос. КХ мержит. И все время насилует диск и cpu мержами, не имеет встроенного решардинга .... т.е. я плюсов КХ не вижу, хотя самый фанбой из всех фанбоев

0

03.03.2021

Denny [Altinity]

sdev E
Тут много нюансов, почему так или не этак, долго р...

может, просто еще можно гвозди забивать телескопом

0

03.03.2021

Artem

Denny [Altinity]
это сложный вопрос. КХ мержит. И все время насилуе...

Можно подумать хадуп никого не насилует... ;)

0

03.03.2021