184 похожих чатов

Хаюшки. А есть какой то вариант для определенного юзера запретить

делать запросы без указания определенного поля в WHERE?
Мы храним логи, и часто люди забывают указывать WHERE timestamp > today(), например - и CH пытается выгрузить логи за весь период - а это десятки ТБ.

6 ответов

8 просмотров

там где-то был лимит на количество рам для запроса/сессии/юзера

такой возможности нет, но можно попробовать следующий костыль: прикинуть, сколько исполняется "нормальный" запрос, и "ненормальный", выбрать какой-то разумный лимит по времени выполнения и установить "max_execution_time". установить "timeout_before_checking_execution_speed", отличный от 0. В таком случае, через "timeout_before_checking_execution_speed" КХ прикинет, сколько будет выполняться запрос, и если он не укладывается в "max_execution_time", то будет остановлен с type=4 и соответствующим эксепшеном

force_index_by_date force_primary_key

Denny [Altinity]
force_index_by_date force_primary_key

При force_index_by_date=1 ClickHouse проверяет, есть ли в запросе условие на ключ даты, которое может использоваться для отсечения диапазонов данных. Если подходящего условия нет - кидается исключение. волшебно. похоже, я не дочитал доку. Спасибо :)

Paul Boo
При force_index_by_date=1 ClickHouse проверяет, ес...

Это конечно не про даты. А про партиции

Serhii-M Автор вопроса
Denny [Altinity]
force_index_by_date force_primary_key

Огонь. Спасибо. А есть вообще какие то best practices по схеме таблиц с логами? Таблицы создавались еще давно, и мы уже давно уперлись в 96 ядерные тачки. Сейчас думаю шардить данные и ищу все возможные способы оптимизировать систему.

Похожие вопросы

Обсуждают сегодня

Типа вызывать GetParent и проверять на соответствие GetModuleHandle?
The Bird of Hermes
67
Do any of you guys have interesting projects one could join? I'm a Middle Full-Stack developer (JS/TS, React & Node)
Lev Shapiro
40
$res = json_decode($наша строка из респонса); $res1 = array_map(fn($o) => $o->name, $res->breadcrumbs[0]->entities); Как такое будет на Хаскеле?.. В начале весь джейсон, в ко...
Хаскель Моисеевич Гопник
27
В чем сила брат, в NASM или FASM?
Isaac Kleiner
18
Вопрос по диагностике ошибок (я знаю в чем, в данном конкретном примере, я знаю, как исправить, пример модельный, понятно, что в реальности бывает намного запутаннее). module...
ⰄⰎⰋⰐⰐⰑⰛⰤⰧⰧⰩⰄ ⰊⰑⰁⰓⰡⰛⰦⰕⰫ
11
А чем вам питонисты не угодили?😂
.
79
Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
52
Хтось використовував Vapor на Windows?
Jaroshevskii
15
Какое виндузовое сообщение приходит TTabSheet, что риэлайняться контролы на нем, даже у которых парент другой? Ситуация: открываю форму - кнопок нет, перелистываю на другой т...
Катерина Свиридова
7
Тут кста кто-нибудь NeoVim использует?
Simple Sorcerer
13
Карта сайта