Вот запихали диски в полки. Дальше что? Интерконнект сетевой между серверами

какой нужен? Ну чтобы и публичка и бэк CEPH-а за ресурсы сетевые не передрались.

А еще по публичке ведь пойдет тот самый поток с камер. Сколько там у вас? 20 Гигабит вроде.
А куда ж они пойдут... Ну ведь не на один же сервер. Нужно же их несколько наверно. И балансировка и отказоустойчивость...

А вот отказал один диск. И нужна замена. И что там начинается... Воот... А если второй? Ага....
А перфоманс на сколько просядет? А ведь он просядет. И будет ли он в допустимых границах?

А еще не забываем, что для хорошей жизни нужна тройная репликация. Сколько там у вас дисков в ваших СХД? Умножьте их на 3. И полки куда вы их засунете, тоже не забудьте.

И сетевушечки. Во все сервера с дисками. И во все серверы, куда вы потоки с камер приведете. Их вам нужно будет наверно много.

И свичи. Вам нужно будет их больше, чем у вас сейчас. И они должны будут не Dlink или TP-Link. Они должны быть ХОРОШИЕ. И Eltex такие не делает. Пока не делает.

А еще ОЗУ. Сколько? Да много. Примерно так 4-8 Гиг на 1 Тб HDD. Наверно. Сейчас эксперты набегут, скажут где я тут неправ.

Ну и там еще можно накидать на вентилятор, это так... Для затравочки...

Я вангую, что посчитав это все вы поймете, что перейдя на CEPH вы получите по сути ту же "островную" инфраструктуру, которая у вас сейчас есть на классических СХД, только это будет стоить наверняка дороже и обслуживать это все будет сложнее, потому что понадобится толпа народа, которая понимает что и где крутить, чтобы этот паровоз ехал. А уж сколько точек отказа возникнет... Не передать словами....

Если сможете, отразите это в аналитической записке.

7 ответов

12 просмотров

И тут я со своими 64 Гб ram на 112тб пригрустил :)

Старый Хрыч
4 гб памяти же на 1 тб надо

Моему сэфу не сказали что ему 512гб рамы надо на такой сервер, сорян

В схд диски дороже. В разы

Можно тут конечно рассмотреть, что видео с одной камеры это один поток и можно использовать это свойство для оптимизации, если конечно 20 гигабит на запись это много видео потоков

Andrey-Nemysskiy Автор вопроса
Andrey Nemysskiy
Спасибо тебе, Капитан Очевидность!

по свичам не вижу проблемы, 2*10G на вход, 3сервера *2 транка *10G внутрянка

Похожие вопросы

Обсуждают сегодня

Не совсем в тему возможно, но может кто то пробовал поднять цеф на нодах вмвари и с последующим подключением через айскази в саму вмварю?
Alexander Zaitsev
34
Привет. Изучаю возможности iscsi gateway и у меня проблема. Я сделал по ману из оф. доки, но спустя какое-то время кластер начал ругаться след.ошибкой: user@ceph-node1:~$ sudo...
Vladimir Ivanov
3
Всем здарова. После нештатного отключения электричества не запускаются два из трех OSD кластера Ceph, резвернутого через rook в кубере. Логи expand-bluefs 2023-10-09T09:15:23...
Vlad Trefilov
4
Подскажите пожалуйста, а вот много вижу что фактор репликации надо ставить 3 и выше, мониторов по больше. Неужели цеф настолько нестабильный? Или просто используется в мощных ...
Тау Фокс
28
Всем добра. продолжаю знакомится с ceph, возник вопрос на который я с ходу найти ответ не могу. Мысль следующая. Возможен ли кластер цеф, когда основная часть нод в одном дат...
mendisobal
28
Всем привет, подскажите, пожалуйста, куда копать? *Warning по Ceph* Версия Ceph: ceph -v ceph version 15.2.17 (8a82819d84cf884bd39c17e3236e0632ac146dc4) octopus (stable) На...
Nesterov Ivan
7
Добрый день! Коллеги, подскажите пожалуйста, насколько целесообразно использовать CEPH, в качестве SDS для системы фото видео фиксации в проекте "Безопасный город"? Планируе...
Victor
23
Есть ли какой-то штатный или известный механизм ограничения количества одновременного запуска осд при старте ноды в container-based кластере с cephadm? Или вариант с кастомиза...
Qntm
17
#Вопрос Доброе утро. Есть 3 ноды Proxmox на каждой ноде LAN 10g 8Nmve u2 ssd на текущий момент zfs, СХД нет есть жирный NAS на 180tb. На сколько велика вероятность катастрофы...
f1gar0 tyt
14
есть идеи почему так много места занято метадатой? ceph tell osd compact не помог, пересоздание osd.12 не помогло (хотя почему-то теперь он говорит 49G omap, а не метадата). Н...
Ivan
4
Карта сайта