Добрый день! Хочу спросить мнения сообщества, как лучше поступить в

Question

Добрый день! Хочу спросить мнения сообщества, как лучше поступить в

моей ситуации, ибо одна голова хорошо, а несколько лучше.
Есть кластер с Кликом, база, таблицы по паре-тройке сотен гигабайт. Моя задача - реализация выборок из этих таблиц.
Но таблицы с определенной периодичностью обновляются, причем не мной, а вливаются извне сторонним лицом с некоторой непредсказуемой периодичностью. Можно считать, что таблицы каждый раз уничтожаются, создаются и полностью заполняются данными. Разумеется работать с такой таблицей - удовольствие не очень, посему предполагается, пускай извне данные вливаются в некие буферные таблицы, а я уже буду копировать данные из них внутри Клика в их рабочие копии тогда, когда нужно и можно. Пока видится три варианта
- select... insert (имхо треш)
- attach.. detach partitions от буферной к основной таблице
- rename table / удалим основную таблицу, переименуем буферную таблицу в основную, создадим буферную...
какой способ наиболее разумно попробовать? или может есть какой то другая... модель поведения в таких условиях?

#backend #clickhouse #database #devops #programming #russian

0

27.10.2020

8 ответов

10 просмотров

Alex Автор вопроса

Tagir Gumerov
> Можно считать, что таблицы каждый раз уничтожают...

производится TRUNCATE TABLE и полная перезаливка. Как влияет... Пока нет такого опыта (извлечения данных во время перезаливки), но думаю, что увижу нечто неудобоваримое.

0

27.10.2020

A

Tagir Gumerov
> Можно считать, что таблицы каждый раз уничтожают...

В штатном режиме (INSERT.. + SELECT.. + хватает ресурсов) - никак

0

27.10.2020

Tagir Gumerov

Alex
производится TRUNCATE TABLE и полная перезаливка. ...

ну используйте rename table это будет гарантировать, что в любой момент времени у вас полная таблица - либо несколько устаревшая пока идет инсерт в буферную (почему вы ее так называете?), либо просто актуальная

0

27.10.2020

Alex Автор вопроса

A
В штатном режиме (INSERT.. + SELECT.. + хватает р...

Не понимаю Вас. TRUNCATE TABLE + заливка данных пачками в течении нескольких часов - что будет видеть во время заливки пользователь? ((( то есть rename table - оптимально?

0

27.10.2020

Denny [Altinity]

вам надо создать базу Engine=Atomic, таблицы создавать в ней и свапать EXCHANGE TABLES atom.X1 AND atom.X2; rename не используйте, он непрозрачен для пользователей

0

27.10.2020

【D】【J】

Denny [Altinity]
вам надо создать базу Engine=Atomic, таблицы созда...

rename не прозрачен только тем, что при наличии идущих селектов будет ждать? или что-то ещё есть?

0

27.10.2020

Denny [Altinity]

【D】【J】
rename не прозрачен только тем, что при наличии ид...

они увидят несуществующую таблицу при select

0

27.10.2020

Tagir Gumerov · Accepted Answer

Tagir Gumerov

> Можно считать, что таблицы каждый раз уничтожаются, создаются и полностью заполняются данными. это действительно происходит? если нет, то почему так можно считать? как влияет инсерт на извлечение выборок?

0

27.10.2020

184 похожих чатов

Добрый день! Хочу спросить мнения сообщества, как лучше поступить в

8 ответов

Похожие вопросы