184 похожих чатов

Привет, подскажите пожалуйста, хочу настроить вытесненение старых данных их КХ

в S3. Но у меня таблички replicated. Можно конечно на каждой ноде указать свой путь хранения в S3, но тогда данные по сути будут дублироваться. Можно ли 2ум нодам в 1ом шарде указать один и тот же путь для хранения данных? Или нужно разные и тогда, по идее дедупликация должна пройти на уровне S3?

25 ответов

14 просмотров

Есть для этого вроде волшебный параметр, одну минуту...

да, уже по дефолту так SELECT * FROM system.merge_tree_settings WHERE name = 'allow_remote_fs_zero_copy_replication' Query id: 6e44fcf6-9883-4771-a1be-b9e4868d3f20 Row 1: ────── name: allow_remote_fs_zero_copy_replication value: 1 changed: 0 description: Allow Zero-copy replication over remote fs. type: Bool

Mike-Minaev Автор вопроса
Denny [Altinity]
да, уже по дефолту так SELECT * FROM system.merg...

Те можно их нацелить в 1 папку и все будет работать?

Mike-Minaev Автор вопроса
【D】【J】
не знаете, для NFS не планируется?

https://github.com/ClickHouse/ClickHouse/discussions/33998#discussioncomment-2048485

Denny [Altinity]
да https://clickhouse.com/docs/en/operations/stor...

сказано что not ready for production при этом включено подефолту и похоже что не работает , копии файлов в s3 остаются и не ужадяются

R-omk
сказано что not ready for production при этом вк...

это для s3 работает, а s3 путь одинаковый ? т.е. копии не могут оставаться, они просто не могут появиться

Denny [Altinity]
это для s3 работает, а s3 путь одинаковый ? т.е. к...

все одинаковое, на скрине видно что одинаковые файлы в одну кучу свалило, сценарий был такой, я заливаю сразу данные котыре под ttl move попадают, все льюется прямо в s3 и в моменте 6G все занимало, но через какотое время партиции вроде схлопнулись, может сами а может потому что я OPTIMIZE запускал и вот все остановилось в таком виде как на скринах

Denny [Altinity]
это для s3 работает, а s3 путь одинаковый ? т.е. к...

вот что в zk , что бы это ни значило оно так сейчас выглядит

R-omk
все одинаковое, на скрине видно что одинаковые ф...

запускал запрос на вставку дважды, примерно такое INSERT INTO FUNCTION remote('x4-clickhouse:9000' ... SELECT * FROM ... SETTINGS insert_distributed_sync=1, insert_quorum=2

R-omk
вот что в zk , что бы это ни значило оно так сей...

есть system.remote_data_paths там смотрите это файл с одной реплики или двух, может у вас optimize файлов наделал

Denny [Altinity]
есть system.remote_data_paths там смотрите это фай...

нет такой таблицы , без optimize тоже по двараза все сохранятся, и даже если изменить alter ttl то те данные которые сами переезжают то же дублируются

R-omk
если такой таблицы нет?

Если файлы два раза. Таблица появилась в последних версиях

Denny [Altinity]
Если файлы два раза. Таблица появилась в последних...

дейтсвительно фигня какаято , у мнея нету и табилцы system.part_log а я помню что видел ее раньше в дрпугих инсталяциях

Denny [Altinity]
есть system.remote_data_paths там смотрите это фай...

снес (truncate) даныне и обновил версию, после того как партиции устаканились вот такое образовалось, я смотрел по конкретным партам, и вот некоторые дедуплицировались, но их меньшинство как видишь, при этом все файлы парта либо дедуплицируются либо весь парт по два раза записывается в разные remote_path

R-omk
снес (truncate) даныне и обновил версию, после т...

ну создайте issue с конфигами и примерами как создать таблицы, инсертами ...

Похожие вопросы

Обсуждают сегодня

Есть какой-нибудь для Delphi/FPC T*Compression(Decompression)Stream на базе LZ4/Zstd/любой другой быстрый(и хорошо сжимающий) алгоритм А ещё лучше в pure pascal А ещё лучше од...
notme
48
Такой вопросец - есть функция function MySuperDuperConcat(const a: array of AnsiString): AnsiString; Как мне в её теле сделать вот так? Result:=Concat(a); А не грустный вариан...
notme
15
type TObj = object procedure Init; virtual; end; TObj1 = object(TObj) procedure Init; override; end; procedure TObj1.Init; begin inherited; end; procedur...
Alexander 👋
29
А чем вам питонисты не угодили?😂
.
79
Всем привет. Поделитесь, пожалуйста, опытом. Есть форма, на которой имеется dbgrid и кнопки: добавить, редактировать, удалить. Если нет записей в dbgrid, то кнопки редактирова...
Евгений
4
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
86
Вот смотрите у меня есть два стрима сейчас fs, cs: TStream; fs := TFileStream.Create('filename'); cs := TCompressionStream.Create(compression_level, fs); Я хочу сделать так: ...
notme
5
type TExtensions<GExtender>=class function GetExtension<GEntityExtenderType>:GEntityExtenderType; end; function TExtensions<GExtender>.GetExtension<GEntityExtenderType...
zamtmn
8
Всем здравствуйте! Я хотел узнать сколько стоит средняя месячная зарплата у Electron js разработчиков? Мне очень это важно и нужно, плиз помогите узнать эту инфу! Для Джунио...
U.K.
10
Можно ли загрузить скрипт py в бота чтобы он работал по нему? как это сделать?
huskadam #RCC Фанат? @hitlerpvp
13
Карта сайта