184 похожих чатов

Всем привет. скажите, есть ли вариант сделать join на большой

таблице, с очень малым количеством озу?
время выполнения не принципиально, хоть неделю
при
SET join_algorithm = 'partial_merge'
select * from c.main inner join c.d on c.main.m = c.d.a
выдаёт
Code: 241. DB::Exception: Received from . DB::Exception: Memory limit (total) exceeded: would use 2.79 GiB (attempt to allocate chunk of 4325664 bytes), maximum: 2.79 GiB: (avg_value_size_hint = 43, avg_chars_size = 42, limit = 16384): (while reading column address): (while reading from part /chdb/store/4f8
/4f88080f-c32b-4ced-8f88-080fc32beced/all_320499_332314_44/ from mark 576 with max_rows_to_read = 16384): While executing MergeTreeThread. (MEMORY_LIMIT_EXCEEDED)

13 ответов

19 просмотров

ну за неделю можно поднять постгрес и на нем спокойно сделать джойн)

сколько у вас всего памяти на сервере?

Yury- Автор вопроса
Clir
сколько у вас всего памяти на сервере?

ну вообще могу залить на сервер с 96 гб и там прогнать, но т.к. это надо делать примерно раз в несколько месяцев, а хранить на том сервере не вариант, то подумал вдруг можно это сделать на этих мощностях, но медленней

Yury- Автор вопроса
Clir
ну за неделю можно поднять постгрес и на нем споко...

так может тогда вообще с кликхауса на него перейти)

Yury
ну вообще могу залить на сервер с 96 гб и там прог...

так сколько памяти у вас на текущей конфигурации?

Yury
4-6 гб

а какие размеры таблиц?

set join_algorithm=partial_merge select * from system.settings where name like '%join%';

Yury- Автор вопроса
Clir
а какие размеры таблиц?

1169182464 строк на винте примерно 40гб занимает

set join_algorithm=partial_merge select * from system.settings where name like '%join%';

Yury- Автор вопроса
Yury- Автор вопроса
Boris
set join_algorithm=partial_merge select * from sys...

┌─name───────────────────────────────────────┬─value─────────┬─changed─┬─min──┬─max──┬─readonly─┬─type───────────┐ │ max_joined_block_size_rows │ 65505 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ UInt64 │ │ join_use_nulls │ 0 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │ │ join_default_strictness │ ALL │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ JoinStrictness │ │ any_join_distinct_right_table_keys │ 0 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │ │ joined_subquery_requires_alias │ 1 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │ │ prefer_global_in_and_join │ 0 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │ │ max_rows_in_join │ 0 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ UInt64 │ │ max_bytes_in_join │ 0 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ UInt64 │ │ join_overflow_mode │ throw │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ OverflowMode │ │ join_any_take_last_row │ 0 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │ │ join_algorithm │ partial_merge │ 1 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ JoinAlgorithm │ │ partial_merge_join_optimizations │ 1 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │ │ default_max_bytes_in_join │ 1000000000 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ UInt64 │ │ partial_merge_join_left_table_buffer_bytes │ 32000000 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ UInt64 │ │ partial_merge_join_rows_in_right_blocks │ 65536 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ UInt64 │ │ join_on_disk_max_files_to_merge │ 64 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ UInt64 │ │ enable_unaligned_array_join │ 0 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │ │ multiple_joins_rewriter_version │ 0 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ UInt64 │ │ cross_to_inner_join_rewrite │ 1 │ 0 │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │ └────────────────────────────────────────────┴───────────────┴─────────┴──────┴──────┴──────────┴────────────────┘

Похожие вопросы

Обсуждают сегодня

Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
70
Здравствуйте. Задача состоит в том, чтобы сделать real-time чат в мобильном приложении. После передачи сообщения пользователем через веб-сокеты, для основного и долговременног...
🐾
5
Всем доброго дня, ребят подскажите пожалуйста, если в курсе по ассемблеру используется MASM32, могу ли я использовать FASM? В чем явная разница и будет ли у меня все работать?
Botsman
17
падает джоба хотя уже была собрана на соседнем namespace, куда капать? │ │ Copying blob sha256:2fa066caddb8f09a71082b03aa43046f79346a01d9c89e06a1f508bb1207dba5 427 │ │ Copyin...
Andrei St
2
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
25
Книга Юрова В.И пойдёт для обучения?
Botsman
24
$params = [ 'formid' => 'feedbackForm', 'formTpl' => '@CODE: <form class="form-validate" data-id="ajax_form"> <fieldset class="margin-bottom-md"> ...
Pathologic
1
Люди добрые, помогите с идеями, потому что свои закончились. У клиента падает софтина в момент инициализации модуля OtlEventMonitor на RegisterWindowMessage('Gp/OtlTaskEvents/...
Михаил Усков
7
Тут просто дело в том, что я не могу сейчас дать такие подробности из за того что рассчитать это всё нереально. Этого проекта который я хочу сделать ещё даже не существует) И ...
🐾
8
> Примечательно, что новый владелец удаляет из GitHub любые жалобы, указывающие на подозрительную активность или смену владельца, и, видимо, рассчитывает на то, что пользовате...
Alex Sherbakov
2
Карта сайта