184 похожих чатов

Там проблема со вставкой теперь не из-за партов, видимо. Вставляется

на db01 блок с данными за одну и ту же секунду, КХ ругается в лог и данные не вставляются:
```2021.03.11 04:20:55.608642 [ 40448 ] {} <Error> db1.gate_clicks.DirectoryMonitor: Code: 252, e.displayText() = DB::Exception: Received from db21:9000. DB::Exception: Too many partitions for single INSERT block (more than 100). The limit is controlled by 'max_partitions_per_insert_block' setting. Large number of partitions is a common misconception. It will lead to severe negative performance impact, including slow server startup, slow INSERT queries and slow SELECT queries. Recommended total number of partitions for a table is under 1000..10000. Please note, that partitioning is not intended to speed up SELECT queries (ORDER BY key is sufficient to make range queries fast). Partitions are intended for data manipulation (DROP PARTITION, etc)```

Возможно, дело из-за неудачного ключа сортировки.
CREATE TABLE db1.clicks (login String, datetime DateTime, REC_DATE Date DEFAULT toDate(datetime)) ENGINE = ReplicatedMergeTree('/clickhouse/{cluster}/tables/db1/shard-{shard}/clicks', '{replica}') PARTITION BY REC_DATE ORDER BY (datetime, login) SETTINGS index_granularity = 8192

Чем-то здесь можно помочь?

5 ответов

10 просмотров

нет, это не из-за ключа сортировки. PARTITION BY REC_DATE -- но там скорее всего в дистрибьютид таблице что-то уже лежит, надо остановить инсерты и смотреть что в каталогах дистрибьютид и что в логах

Serge-Bash Автор вопроса
Denny [Altinity]
нет, это не из-за ключа сортировки. PARTITION BY ...

Загрузка остановлена. В каталогах distributed на сервере, через который идёт вставка, почти 1Тб данных root@dbserver01:/var/lib/clickhouse/data/db1/gate_clicks# du -h --max-depth=1 . 40G ./replicator:blabla@dbserver17:9000#db1,replicator:blabla@dbserver18:9000#db1 40G ./replicator:blabla@dbserver05:9000#db1,replicator:blabla@dbserver06:9000#db1 40G ./replicator:blabla@dbserver27:9000#db1,replicator:blabla@dbserver28:9000#db1 40G ./replicator:blabla@dbserver29:9000#db1,replicator:blabla@dbserver30:9000#db1 40G ./replicator:blabla@dbserver21:9000#db1,replicator:blabla@dbserver22:9000#db1 39G ./replicator:blabla@dbserver31:9000#db1,replicator:blabla@dbserver32:9000#db1 40G ./replicator:blabla@dbserver19:9000#db1,replicator:blabla@dbserver20:9000#db1 40G ./replicator:blabla@dbserver03:9000#db1,replicator:blabla@dbserver04:9000#db1 40G ./replicator:blabla@dbserver33:9000#db1,replicator:blabla@dbserver34:9000#db1 40G ./replicator:blabla@dbserver01:9000#db1,replicator:blabla@dbserver02:9000#db1 39G ./replicator:blabla@dbserver09:9000#db1,replicator:blabla@dbserver10:9000#db1 40G ./replicator:blabla@dbserver25:9000#db1,replicator:blabla@dbserver26:9000#db1 39G ./replicator:blabla@dbserver13:9000#db1,replicator:blabla@dbserver14:9000#db1 39G ./replicator:blabla@dbserver35:9000#db1,replicator:blabla@dbserver36:9000#db1 40G ./replicator:blabla@dbserver15:9000#db1,replicator:blabla@dbserver16:9000#db1 39G ./replicator:blabla@dbserver23:9000#db1,replicator:blabla@dbserver24:9000#db1 39G ./replicator:blabla@dbserver07:9000#db1,replicator:blabla@dbserver08:9000#db1 40G ./replicator:blabla@dbserver11:9000#db1,replicator:blabla@dbserver12:9000#db1 В логах на этом и других серверах кластера периодически вылазят DB::Exception: Too many partitions for single INSERT block (more than 100). The limit is controlled by 'max_partitions_per_insert_block' setting. Large number of partitions is a common misconception. It will lead to severe negative performance impact, including slow server startup, slow INSERT queries and slow SELECT queries. Recommended total number of partitions for a table is under 1000..10000. Please note, that partitioning is not intended to speed up SELECT queries (ORDER BY key is sufficient to make range queries fast). Partitions are intended for data manipulation (DROP PARTITION, etc). (version 20.3.9.70 (official build)) (from SOME-IP:49642) (in query: INSERT INTO db1.clicks (...) В директории distributed-таблицы на других серверах почти пусто, иногда в субдиректории broken пару МБ лежат. Как побороть ошибки в логах и что делать с данными на сервере вставки?

Serge-Bash Автор вопроса
Serge Bash
Загрузка остановлена. В каталогах distributed на с...

У нас из-за этого вставка через дистрибьютет в принципе остановилась, файлы копятся там как раз с момента, когда пошли вставляться кривые даты из будущего. Может просто дропнуть эти файлы?

Serge-Bash Автор вопроса
Serge Bash
У нас из-за этого вставка через дистрибьютет в при...

Если кому интересно: включил трейс, стал смотреть, какие бинари в цикле пытаются загрузиться и фейлятся и стал их выпиливать из папки distributed - пошло рассасывать накопленное и подгружать здоровые файлы

Serge Bash
Если кому интересно: включил трейс, стал смотреть,...

вы бы отключили лимит про кол-во партов, на время мейнтанса

Похожие вопросы

Обсуждают сегодня

Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
24
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
Всем привет! Подскажи, пожалуйста, как передать в TComboBox сразу значение и id записи. На Delphi я делал так: ComboBox1.Items.AddObject('Какое-то значение', Pointer(id запис...
Евгений
9
я так понимаю, я так подозреваю, что создание такого плагина для человека, кто умеет писать плагины для делфи потребует минут 5-10 времени. но это мое подозрение. хотелось бы ...
Kraszx
7
Товарищи, кто работа с iphelper? Или может я в самой логике ошибки фигачу, не пойму.... var ifTable : PMIB_IFTABLE; size, corSize: DWORD; Buffer ...
Warfarellen
4
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
Коллеги, добрый вечер. Создаю коллекцию от TFPGMap, ключ - перечисление, значение - целое. Нужно отсортировать коллекцию по значению. Как это можно сделать?
Kirill Filippenok
11
Привет, такой вопросик появился кажется ли вам что Rust слишком сложный/строгий для высокоуровневого программирования и слишком "безопасный"/строгий для низкоуровневого?
Крокант
10
Скажи а ты когда этот канал создавал ты уже дельфи не любил, или это со временем пришло?
Роман Лях (rgreat)
18
Всем привет! Использую кастомное модальное диалоговое окошко, все по классике - mrOK, mrCancel как ModalResult. Однако есть нюанс - в главной форме есть универсальный обработч...
Олег Гранишевский
20
Карта сайта