Добрый день. Данных уж слишком много, сервера не справляются. Подскажите,

Question

Добрый день. Данных уж слишком много, сервера не справляются. Подскажите,

какие техники используете при прореживании данных ? например: нужна не каждая секунда (строка), а каждая 5-ая / 10-ая / etc. В голову приходит пока что в MV что-то накостылить.

#backend #clickhouse #database #devops #programming #russian

0

07.07.2022

9 ответов

13 просмотров

Samira Uzd Автор вопроса

Константин
Ну вы можете агрегировать на вставке с помощью MV

Ну мне не совсем аггрегация нужна. Обсчитывать нечего. нужно взять каждую N-ую строку удовлетворяющих определенным условиям из входных данных. Или я вас неправильно понял?

0

07.07.2022

Константин

Samira Uzd
Ну мне не совсем аггрегация нужна. Обсчитывать неч...

Вы просто хотите, чтобы было меньше данных ? Посмотрите на сэмплирование, но я сам не пользовался

0

07.07.2022

Vladimir Goncharov

Юзайте гугл. Читайте документацию. Смотрите kb. clickhouse ttl group by https://kb.altinity.com/altinity-kb-queries-and-syntax/ttl/ttl-group-by-examples/

0

07.07.2022

Samira Uzd Автор вопроса

Vladimir Goncharov
Юзайте гугл. Читайте документацию. Смотрите kb. cl...

аггрегация != прореживание

0

07.07.2022

Denny [Altinity]

Samira Uzd
аггрегация != прореживание

Это одно и тоже. Есть аггрегирующая функция any

0

07.07.2022

Константин

Samira Uzd
аггрегация != прореживание

Ну вы можете использовать функцию https://clickhouse.com/docs/ru/sql-reference/aggregate-functions/reference/argmax , any , anyLast, argmin, anyHeavy и тогда реально получится прореживание

0

07.07.2022

Denny [Altinity]

Samira Uzd
аггрегация != прореживание

Возможно вам подойдёт движок graphiteMT

0

07.07.2022

Vladimir Goncharov

Samira Uzd
аггрегация != прореживание

А я и не писал про аггрегацию. Я писал про группировку. Группировка != аггрегация. Но как вам выше уже написали в данном контексте это один хрен.

0

07.07.2022