184 похожих чатов

Хаюшки. А есть какой то вариант для определенного юзера запретить

делать запросы без указания определенного поля в WHERE?
Мы храним логи, и часто люди забывают указывать WHERE timestamp > today(), например - и CH пытается выгрузить логи за весь период - а это десятки ТБ.

6 ответов

14 просмотров

там где-то был лимит на количество рам для запроса/сессии/юзера

такой возможности нет, но можно попробовать следующий костыль: прикинуть, сколько исполняется "нормальный" запрос, и "ненормальный", выбрать какой-то разумный лимит по времени выполнения и установить "max_execution_time". установить "timeout_before_checking_execution_speed", отличный от 0. В таком случае, через "timeout_before_checking_execution_speed" КХ прикинет, сколько будет выполняться запрос, и если он не укладывается в "max_execution_time", то будет остановлен с type=4 и соответствующим эксепшеном

force_index_by_date force_primary_key

Denny [Altinity]
force_index_by_date force_primary_key

При force_index_by_date=1 ClickHouse проверяет, есть ли в запросе условие на ключ даты, которое может использоваться для отсечения диапазонов данных. Если подходящего условия нет - кидается исключение. волшебно. похоже, я не дочитал доку. Спасибо :)

Paul Boo
При force_index_by_date=1 ClickHouse проверяет, ес...

Это конечно не про даты. А про партиции

Serhii-M Автор вопроса
Denny [Altinity]
force_index_by_date force_primary_key

Огонь. Спасибо. А есть вообще какие то best practices по схеме таблиц с логами? Таблицы создавались еще давно, и мы уже давно уперлись в 96 ядерные тачки. Сейчас думаю шардить данные и ищу все возможные способы оптимизировать систему.

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта