Что за структура MV? Уменьшите размер max_block_size до 8к, например

Question

ClickHouse не тормозит

Kirill Shvakov

Что за структура MV? Уменьшите размер max_block_size до 8к, например

и max_threads в единицу

#backend #clickhouse #database #devops #programming #russian

0

06.09.2018

2 ответов

5 просмотров

Alexey

перезапустил с новыми настройками (max_block_size=1000, max_insert_block_size=1000, max_threads=1) - новая ошибка ↑ Progress: 441.17 million rows, 40.93 GB (6.91 million rows/s., 640.83 MB/s.) ████████████████████████████████████████▎ 64Received exception from server (version 18.10.3): Code: 241. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Memory limit (for query) exceeded: would use 46.58 GiB (attempt to allocate chunk of 67108864 bytes), maximum: 46.57 GiB: (while reading column error): (while reading from part /var/lib/clickhouse/data/default/object_events_mt12/20180508_20180512_4650_4662_1/ from mark 240 with max_rows_to_read = 1000). 0 rows in set. Elapsed: 64.081 sec. Processed 441.17 million rows, 40.93 GB (6.88 million rows/s., 638.74 MB/s.)

0

06.09.2018

Alexey · Accepted Answer

Kirill, спасибо, вот структура CREATE MATERIALIZED VIEW status_mv12 TO status_amt12 AS SELECT created_at_d as created_at_d, group_id as group_id, user_id as user_id, master_object_id as master_object_id, argMaxState(object_id, event_ms_ts) AS last_object_id, argMaxState(object_complete, event_ms_ts) AS object_complete, argMaxState(object_complete_success, event_ms_ts) AS object_complete_success, argMaxState(completed_at_dt, event_ms_ts) AS last_complete_dt, argMaxState(error, event_ms_ts) AS last_error, argMaxState(report, event_ms_ts) AS last_report FROM status_amt12_null GROUP BY created_at_d, group_id, user_id, master_object_id у меня почему то возникает ощущение что настройки не применяются, например, я вижу что процентики бегут примерно с одинаковой скоростью независимо от настроек (визуальное ощущение, но я могу ошибаться)

184 похожих чатов

Что за структура MV? Уменьшите размер max_block_size до 8к, например

2 ответов

Похожие вопросы