Ладно, хрен с ним, с цефом, а чем и как

ты этот несчастный ы3 нагружаешь?

10 ответов

15 просмотров

Питоном беру из backblaze и кладу в S3

Виктор- Автор вопроса
blkmrkt
Питоном беру из backblaze и кладу в S3

параллельность есть какая?

Виктор
параллельность есть какая?

50 gevent тредов х 8 процессов

Виктор- Автор вопроса
blkmrkt
50 gevent тредов х 8 процессов

попробуй более менее используемой тестилкой пройтись, вместо своего скрипта.

hsbench в 10 тредов дает 25МБ/сек для PUT операций 😳

Виктор
попробуй более менее используемой тестилкой пройти...

Фухх благодарю, вот это и требовалось доказать!

blkmrkt
Фухх благодарю, вот это и требовалось доказать!

ну и исключить что это не backblaze вас ограничивает, пописать с него в какой-либо другой платный s3 совместимый сторадж например

timureh
ну и исключить что это не backblaze вас ограничива...

Бакблейз точно может быстрее отдавать. Вот только в этот же самый бакет не пробовал писать бенчмарком, в котором уже 50млн объектов. Подозреваю что может быть из-за размера бакета замедление, из тюнинга я ему делал только 1000 шардов для индекса.

Виктор- Автор вопроса

Похожие вопросы

Обсуждают сегодня

Не совсем в тему возможно, но может кто то пробовал поднять цеф на нодах вмвари и с последующим подключением через айскази в саму вмварю?
Alexander Zaitsev
34
Привет. Изучаю возможности iscsi gateway и у меня проблема. Я сделал по ману из оф. доки, но спустя какое-то время кластер начал ругаться след.ошибкой: user@ceph-node1:~$ sudo...
Vladimir Ivanov
3
Всем здарова. После нештатного отключения электричества не запускаются два из трех OSD кластера Ceph, резвернутого через rook в кубере. Логи expand-bluefs 2023-10-09T09:15:23...
Vlad Trefilov
4
Подскажите пожалуйста, а вот много вижу что фактор репликации надо ставить 3 и выше, мониторов по больше. Неужели цеф настолько нестабильный? Или просто используется в мощных ...
Тау Фокс
28
Всем добра. продолжаю знакомится с ceph, возник вопрос на который я с ходу найти ответ не могу. Мысль следующая. Возможен ли кластер цеф, когда основная часть нод в одном дат...
mendisobal
28
Всем привет, подскажите, пожалуйста, куда копать? *Warning по Ceph* Версия Ceph: ceph -v ceph version 15.2.17 (8a82819d84cf884bd39c17e3236e0632ac146dc4) octopus (stable) На...
Nesterov Ivan
7
Добрый день! Коллеги, подскажите пожалуйста, насколько целесообразно использовать CEPH, в качестве SDS для системы фото видео фиксации в проекте "Безопасный город"? Планируе...
Victor
23
Есть ли какой-то штатный или известный механизм ограничения количества одновременного запуска осд при старте ноды в container-based кластере с cephadm? Или вариант с кастомиза...
Qntm
17
Вот запихали диски в полки. Дальше что? Интерконнект сетевой между серверами какой нужен? Ну чтобы и публичка и бэк CEPH-а за ресурсы сетевые не передрались. А еще по публичк...
Andrey Nemysskiy
7
#Вопрос Доброе утро. Есть 3 ноды Proxmox на каждой ноде LAN 10g 8Nmve u2 ssd на текущий момент zfs, СХД нет есть жирный NAS на 180tb. На сколько велика вероятность катастрофы...
f1gar0 tyt
14
Карта сайта