Привет. Только вовлекаюсь в использование это бд и возникают возможно некоторые

Question

Привет. Только вовлекаюсь в использование это бд и возникают возможно некоторые

банальные вопросы.

1. Как вы накатываете миграции в гарантируете успешную доставку миграций до всех шардов в условиях отсутствия атомарности? Как-то руками?
2. Мне говорили, что лучше избавиться от констуркций on cluster при выполнении миграциий, и лучше обходить все шарды самому (руками) и выполнять миграционные скрипты на каждом из них. Подскажите насколько это правдивая информация?
3. Так же слышал мнение, что не стоит делать insert в distributed таблицы (из-за риска потери данных). Почему могут теряться данные? Кто-нибудь что-то слышал про такое?
4. Рекомендовали вместо использования insert в distributed таблицы проксировать запросы на клиенете и на этом "прокси" выбирать шард, в который будет выполнен insert, другими словами делать ручное распределение данных в кластере. Насколько это нормальная практика?
5. Также хочу узнать ваши комментарии на тему того, нормально ли будет создать distributed таблицу на каждом шарде, чтобы "размазать" нагрузку на select'ы и чтобы работали все шарды, а не только какие-то определенные (для обеспечения нормальной утилизации ресурсов). Если это норм, получается что нужно тоже какой-то прокси ставить перед этим, потому что клиенты забирающие данные не должны знать о всех хостах, на которых есть distributed таблицы, ну и чтобы точка вхождения была одна.

#backend #clickhouse #database #devops #programming #russian

0

26.01.2022

7 ответов

7 просмотров

Andrei K

По поводу атомарности, миграций и всего такого - можно использовать движок базы Replicated КХ сам будет поддерживать целостность, не нужно будет думать, где писать on cluster, а где - нет https://clickhouse.com/docs/en/engines/database-engines/replicated/

0

26.01.2022

Andrei K

5. Стандартная практика сделать на всех хостах локальную таблицу, и рядом так же на всех хостах Distributed. Чтобы не нужно было думать, где она есть, а где нет Клиента можно научить ходить на один (любой, случайный) хост, ну или если хотите, можно проксю поставить, чтоб размазать запросы

0

26.01.2022

Alex Sandakov Автор вопроса

Константин
3/4. Distributed таблица при вставке имеет минус в...

понял. спс.

0

26.01.2022

Alex Sandakov Автор вопроса

Andrei K
5. Стандартная практика сделать на всех хостах лок...

благодарю за ответы. Очень помогли.

0

26.01.2022

Sergey Alaev

1, 2 - не видел ничего готового подходящего качества. Написали свою тулзу, по принципу flyway.

0

26.01.2022

Alex Sandakov Автор вопроса

Sergey Alaev
1, 2 - не видел ничего готового подходящего качест...

got it. Спасибо за инфу.

0

26.01.2022

Константин · Accepted Answer

Константин

3/4. Distributed таблица при вставке имеет минус в скорости, связи с тем, что сначала идёт в неё вставка, а только потом она вставляет уже в MT таблицы данные. Из-за лучше шардировать данные до Clickhouse и лить в определённый шард.

0

26.01.2022

184 похожих чатов

Привет. Только вовлекаюсь в использование это бд и возникают возможно некоторые

7 ответов

Похожие вопросы