Доброе утро всем. Что-то я затупил. Есть один шард с

Question

Доброе утро всем. Что-то я затупил. Есть один шард с

двумя репликами. Хочу холодные данные перекидывать на s3. Вроде все в документации понятно, кроме такого момента - если Engine ReplicatedMergeTree, и указать одинаковый <endpoint> в обеих репликах, то получается они будут писать в один и тот-же бакет и может случиться мешанина с данными. Или я не прав?

<disks>
<s3>
<type>s3</type>
<endpoint>https://s3.amazonaws.com/test.ch.cold.data/tables/</endpoint>
<access_key_id>xxx</access_key_id>
<secret_access_key>xxx</secret_access_key>
<region>us-east-1</region>
<metadata_path>/var/lib/clickhouse/disks/s3/</metadata_path>
</s3>
<s3_cache>
<type>cache</type>
<disk>s3</disk>
<path>/var/lib/clickhouse/disks/s3_cache/</path>
<max_size>10Gi</max_size>
</s3_cache>
</disks>

...

<cold>
<volumes>
<default>
<disk>default</disk>
</default>
<s3>
<disk>s3</disk>
</s3>
</volumes>
</cold>

ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/test', '{replica}')
PARTITION BY toYYYYMM(eventDate)
ORDER BY (accountId, projectId, eventDate)
TTL eventDate + INTERVAL 2 MONTH to volume 's3'
SETTINGS storage_policy = 'cold';

#backend #clickhouse #database #devops #programming #russian

0

08.09.2023

3 ответов

12 просмотров

Dig Diver Автор вопроса

Ребят, кто подскажет?

0

08.09.2023

Dig Diver Автор вопроса

Slach [altinity]
нет не будет, там имя ключа уникальное в s3 получа...

благодарю

0

08.09.2023

Slach [altinity] · Accepted Answer

Slach [altinity]

нет не будет, там имя ключа уникальное в s3 получается... и главное не теряйте локальные файлы в /var/lib/clickhouse/disks/s3/ в них значения ключей s3

0

08.09.2023

184 похожих чатов

Доброе утро всем. Что-то я затупил. Есть один шард с

3 ответов

Похожие вопросы