184 похожих чатов

Привет, подскажите пожалуйста, хочу настроить вытесненение старых данных их КХ

в S3. Но у меня таблички replicated. Можно конечно на каждой ноде указать свой путь хранения в S3, но тогда данные по сути будут дублироваться. Можно ли 2ум нодам в 1ом шарде указать один и тот же путь для хранения данных? Или нужно разные и тогда, по идее дедупликация должна пройти на уровне S3?

25 ответов

24 просмотра

Есть для этого вроде волшебный параметр, одну минуту...

да, уже по дефолту так SELECT * FROM system.merge_tree_settings WHERE name = 'allow_remote_fs_zero_copy_replication' Query id: 6e44fcf6-9883-4771-a1be-b9e4868d3f20 Row 1: ────── name: allow_remote_fs_zero_copy_replication value: 1 changed: 0 description: Allow Zero-copy replication over remote fs. type: Bool

Mike-Minaev Автор вопроса
Denny [Altinity]
да, уже по дефолту так SELECT * FROM system.merg...

Те можно их нацелить в 1 папку и все будет работать?

Mike-Minaev Автор вопроса
【D】【J】
не знаете, для NFS не планируется?

https://github.com/ClickHouse/ClickHouse/discussions/33998#discussioncomment-2048485

Denny [Altinity]
да https://clickhouse.com/docs/en/operations/stor...

сказано что not ready for production при этом включено подефолту и похоже что не работает , копии файлов в s3 остаются и не ужадяются

R-omk
сказано что not ready for production при этом вк...

это для s3 работает, а s3 путь одинаковый ? т.е. копии не могут оставаться, они просто не могут появиться

Denny [Altinity]
это для s3 работает, а s3 путь одинаковый ? т.е. к...

все одинаковое, на скрине видно что одинаковые файлы в одну кучу свалило, сценарий был такой, я заливаю сразу данные котыре под ttl move попадают, все льюется прямо в s3 и в моменте 6G все занимало, но через какотое время партиции вроде схлопнулись, может сами а может потому что я OPTIMIZE запускал и вот все остановилось в таком виде как на скринах

Denny [Altinity]
это для s3 работает, а s3 путь одинаковый ? т.е. к...

вот что в zk , что бы это ни значило оно так сейчас выглядит

R-omk
все одинаковое, на скрине видно что одинаковые ф...

запускал запрос на вставку дважды, примерно такое INSERT INTO FUNCTION remote('x4-clickhouse:9000' ... SELECT * FROM ... SETTINGS insert_distributed_sync=1, insert_quorum=2

R-omk
вот что в zk , что бы это ни значило оно так сей...

есть system.remote_data_paths там смотрите это файл с одной реплики или двух, может у вас optimize файлов наделал

Denny [Altinity]
есть system.remote_data_paths там смотрите это фай...

нет такой таблицы , без optimize тоже по двараза все сохранятся, и даже если изменить alter ttl то те данные которые сами переезжают то же дублируются

R-omk
если такой таблицы нет?

Если файлы два раза. Таблица появилась в последних версиях

Denny [Altinity]
Если файлы два раза. Таблица появилась в последних...

дейтсвительно фигня какаято , у мнея нету и табилцы system.part_log а я помню что видел ее раньше в дрпугих инсталяциях

Denny [Altinity]
есть system.remote_data_paths там смотрите это фай...

снес (truncate) даныне и обновил версию, после того как партиции устаканились вот такое образовалось, я смотрел по конкретным партам, и вот некоторые дедуплицировались, но их меньшинство как видишь, при этом все файлы парта либо дедуплицируются либо весь парт по два раза записывается в разные remote_path

R-omk
снес (truncate) даныне и обновил версию, после т...

ну создайте issue с конфигами и примерами как создать таблицы, инсертами ...

Похожие вопросы

Обсуждают сегодня

Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
> Копаем глубже > Следующий момент был, когда я спросил его, знает ли он JavaScript. Он ответил, что его учили работать с C#. Я тоже в университете писал на C#, но даже там мн...
Oleg Volkov
4
И никого не интересует какие пакеты кто использует. ((% Заходишь на сайт симфони и видишь поддержку Украины - по законам РФ это ж экстремизм. Только никто не отказывается от с...
Am Ambrion
11
лучше скажите, причём тут паскаль?
Alexey Kulakov
36
Чтобы перехватить все нажимания буков на форме, надо хук ставить? Пробовал на форме ОнКейДаун, оно ловит клаву если фокус не на компоненте с вводом текста
Serjone
15
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
7
Народ! Впервые клиенту пришло письмо от РКН, у вас, дескать, есть яндекс метрика, а нигде не написано, что вы ее юзаете. Никто не сталкивался?
Sasha Beep
14
Всем привет! вывожу на общей стр дочерние ресурсыв каждом ресурсе галерея, и первая фотка должна выводиться на общей [!DocLister? &prepare=photo !]
Alekso
12
А можно вопрос? Мне сегодня сказали что у меня функция (которая просто заполняет массив значениями) не правильная void Full(double * arr, int n) { for (int i = 0; i < n; i...
† C E †
7
Добрый вечер. Хочу чтобы у меня в классе поле было функцией, которая возвращает строку. Делаю так: interface ... TGetOutPath = function : String of object; ... protec...
Kirill Filippenok
12
Карта сайта