Всем добра. продолжаю знакомится с ceph, возник вопрос на который

я с ходу найти ответ не могу.
Мысль следующая. Возможен ли кластер цеф, когда основная часть нод в одном датацентре + меньшая чаcть нод кластера в другом. Связность между этими частями через интернет. В меньшей части должна хранится полная копия данных в одном экземпляре, но с низким приоритетом по чтению и записи. В общем такой себе резерв на случай блэкаута в датацентре.
Кто-нибудь строил подобное? Каких подводных камней следует ожидать?

Позволь узнать, енто что же за датацентр такой интересный?

"полная копия данных в одном экземпляре, но с низким приоритетом по чтению и записи. В общем такой себе резерв на случай блэкаута в датацентре." тут скорее про два разных хранилища

Это пока мысленный эксперимент

ovh.

Для чего использовать то планируешь?

кладывать архивные записи стримингового сервиса

https://docs.ceph.com/en/latest/dev/cephfs-mirroring/

Спасибо

Через крашмап поделить так не проблема, но в реалиях цефа это не будет полноценной(без доп плясок с бубном работающей) копией данных. первый момент, если у тебя фактор репликации 3 к 2 (а меньше не надо делать, практический опыт) то пока не будет восстановлено до 2 копий данных обратно с цефа данных не получишь(ручками вытащить можно, но замучаешься) и работать с ними не сможешь. второй момент, медленный дц будет замедлять работу всей системы. третий момент, кросс дц цеф, почти всегда говно идея, потому что любая потеря связности или перестроение сети это боль и порой крайне неприятный дебаг. если нужны данные, то либо 3к2 в одном дц и бекап во втором либо два цефа в двух дц и код который с этим умеет работать. в любом случае нужно раз в какое то время тестить что всё это работает.

Спасибо за разъяснение

У меня построен кластер в трёх дата центрах на одном ceph.

А вот это интересно, расскажите пожалуйста как распределены сервисы, были ли потери связности между ДЦ во время эксплуатации?

Если нужны данные и срочно уменьшаешь min size и продалжаешь работать на свой страх и риск. Или делаешь краш мап с двумя копиями на одном дц ... Все решаемо

размер блока osd тюнили? MDS CephFS используете?

Как распределены менеджеры и мониторы по ДЦ?

Нет смысла менять размер блока, это не решает ничего.есть и fs и rbd и rgw

вот прям максимально не согласен, уменьшать сайз до 2 к 1 это нажраться говна заранее

По два на дата центр

Эээ ... спор ни о чем, так как есть как разные данные, так и разная конфигурация

да оно заработает, да данные достанешь. но не надо такое советовать людям которые недавно с цефом. обосраться тут как делать нефиг

Не сломал, не разобрался )))

прод преимущественно с тобой не согласен. разбирайся, учись, но в стейже. когда это стрельнет на проде, это будет ооочень далеко не плюсом тебе как специалисту

вот тут полностью согласен. Я пока в одном ДЦ поднял тестовую ноду. В понедельник буду расширять её ещё на 2 ДЦ. А затем буду ломать по всякому )

Да, на проде эксперименты - плохо. Поэтому я за месяц-два до начала строительства прода и начал играться

Я говорю как научиться, а не обосраться

тогда и надо уточнять, что для научиться. человек же сейчас знакомится с цефом, подумает что это норм практика.

Специалист это тот кто уже сломал пяток раз и пару раз получил по шее ))) но в другом месте

Знакомство не на проде же )))