184 похожих чатов

Добрый день. Загрузка осуществляется через distributed таблицу. На сервере нет ничего

кроме дистрибутивных таблиц. Иногда, из-за интенсивного входного потока забивается диск , из-за того, что не успевает передать далее.

Каким-то образом можно установить лимит свободного места, чтобы при достижении порога, каким-то образом не позволялось далее вставлять ?

7 ответов

21 просмотр

такого нет, по сколько записей у вас за один INSERT в distributed прилетает? что значит на сервере нет ничего кроме distributed? а вставка целевая куда идет? distributed временные данные только .bin файлах хранит... а дальше обычным INSERT в целевые таблицы вставляет у вас отдельный диск под основные данные? и отдельный под временные?

Samira-Uzd Автор вопроса
Slach [altinity]
такого нет, по сколько записей у вас за один INS...

> что значит на сервере нет ничего кроме distributed? Это и значит, что нет других таблиц/бд, за исключением системных. > а вставка целевая куда идет? В иные сервера дальше, через эти таблицы. > distributed временные данные только .bin файлах хранит... Да, все верно. именно ими и забивает. > у вас отдельный диск под основные данные? и отдельный под временные? Нет, на основном, где стоит кликхаус, там и бины хранятся (ждут своей очереди на отправку) Идею понял: внутренних механизмов нет. Я надеялся, что есть что-то вроде storage policy как для MT, где можно явно назначить минимум свободного места на диске.

Samira Uzd
> что значит на сервере нет ничего кроме distribut...

ну вы еще не ответили на вопрос сколько у вас строк в одном INSERT запросе в эту disbtibuted?

Samira Uzd
> что значит на сервере нет ничего кроме distribut...

https://clickhouse.com/docs/en/operations/server-configuration-parameters/settings#background_distributed_schedule_pool_size

Samira Uzd
> что значит на сервере нет ничего кроме distribut...

> > а вставка целевая куда идет? > В иные сервера дальше, через эти таблицы. ну то есть у вас в remote_servers не прописан тот сервер на котором вы запускаете INSERT INTO distributed_table? или прописан?

Samira-Uzd Автор вопроса
Slach [altinity]
ну вы еще не ответили на вопрос сколько у вас стро...

>> ну вы еще не ответили на вопрос сколько у вас строк в одном INSERT запросе в эту disbtibuted? Вставка от 300к до миллиона, бывает и больше. >> ну то есть у вас в remote_servers не прописан тот сервер на котором вы запускаете INSERT INTO distributed_table? или прописан? нет, не прописан.

Samira Uzd
>> ну вы еще не ответили на вопрос сколько у вас с...

сколько шардов в кластере при этом? internal_replication true Для шардов?

Похожие вопросы

Обсуждают сегодня

Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
#include <stdio.h> #include <stdlib.h> #include <time.h> void mass_first_generate(int mass[5][7]) {     for (int N = 0; N < 5; N++) {         for (int A = 0; A < 7; A++) {   ...
Чувак
6
Всем привет! Решаю 99 OCaml Problems и столкнулся со следующей проблемой (прошу палками не забивать, я OCaml практически не трогал до этого момента): open OUnit2 let create_...
К|/|pи/\/\ 6е3yглbIи
2
Точно, оно. У тебя там имена потоков выставляются?
Александр (Rouse_) Багель
11
https://www.linkedin.com/posts/ugama-benedicta-kelechi-codergirl-103041300_mobiledevelopment-fluttertraining-handsonlearning-activity-7263445699227254784-IdHB?utm_source=share...
CoderGirl
16
возможно ли как-то передать в электрон или таури медиа поток с рендера 2д движка? двиг запускается как dll, а дальше надо как-то отправлять рендер кодировать не подходит, зр...
Kyle Nekto
7
Ну вот просто даже давайте вот как. Какой нибудь конкретный кейс, можете в пример привести, где бч работает и приносит прикладную пользу, а не просто что бы было? Не крипту.
Alexander Andreev
22
Помогите пожалуйста. Делаю систему плагинов. Проблема сейчас в такая: плагины загружаются в основном потоке. FLibHandle := SafeLoadLibrary(FFileName) Но нужно еще выполнить фу...
Илья 🤣
10
объясните пожалуйста, почему функция не работает должным образом? вроде должно брать активное окно сравнивать его размер с размером экрана, и если есть совпадение = true прове...
JF
12
лучше скажите, причём тут паскаль?
Alexey Kulakov
36
Карта сайта