Всем, привет! Неделю бьёмся с производительностью RAID массива. Имеем 20 sas hdd

Question

Всем, привет! Неделю бьёмся с производительностью RAID массива. Имеем 20 sas hdd

10k rpm. Нужен RAID 6 или 60.
Как правильно конфижить mdraid читал(chunk, stripe и прочее по мануалам).

Пытаемся выжать максимум скорости чтения, но запись хотелось хотя бы 5 скоростей одного диска.
Как бы не бились, получаем 4Гб\с на чтение и 600Мб\сек на запись.
При этом, на запись никак не получается выше 600 подняться. Пробовали RAID10, всё равно 600.
Скорость чтения с одного диска 250 Мб\с, запись примерно такая же.
Смотрел на других серверах, скорость записи на 10xHDD 7200rpm RAID6 - 600
6xHDD 7200rmp RAID10 - 300Мб\сек
Если собрать два RAID6, скорость записи на каждом будет 500, а если писать одновременно - 300 на каждом.

Если делать железный RAID60, получаем скорость чтение|запись 1,8Гб\сек|2Гб\сек
Получается, что скорость записи режется не контроллером, а mdraid.

Кто-нибудь сталкивался? Может есть какой-то секретный параметр в mdadm?

Скорость тестируем вот так:
fio --directory=/home --name=test --rw=write --bs=1m --size=10G --numjobs=1 --time_based --runtime=60 --group_reporting --ioengine libaio --iodepth=32 --buffered=0 --direct=1

Практика показывает, что такой тест даёт достаточную точность. Под реальной нагрузкой получаю схожие показатели.

#backend #clickhouse #database #devops #programming #russian

0

02.10.2023

12 ответов

17 просмотров

Maxim Автор вопроса

Danil
А во время записи процесс mdadm сколько цпу исполь...

top показывает 70%. Подозреваю, что он на одном ядре работает. Процессоры E5-2680 v4, 14 ядер, 28 потоков

0

02.10.2023

Danil

Maxim
top показывает 70%. Подозреваю, что он на одном яд...

Да, мдадм работает на 1 ядре всего, у нас такая-же беда из-за этого

0

02.10.2023

Maxim Автор вопроса

Danil
Да, мдадм работает на 1 ядре всего, у нас такая-же...

Попадалось в нескольких постах, что необходимо отдавать предпочтение mdraid вместо железного. Якобы, он быстрее работает. Вот и не пойму, что мы делаем не так...

0

02.10.2023

Stanislav Vlasov

Maxim
Попадалось в нескольких постах, что необходимо отд...

Он работает быстрее, чем тот hp raid, что совался в сервера hp.

0

02.10.2023

Maxim Автор вопроса

Stanislav Vlasov
Он работает быстрее, чем тот hp raid, что совался ...

В данном случае контроллер Adaptec. Всегда считал, что это одни из самых простых

0

02.10.2023