рассказать грустных историй про RedHat'овский GlusterFS.
Поскольку относительно недавно мы такое втащили на прод (v3.12), накопилось следующее:
* Не может в 4KN диски, т.к. там индусокод под капотом. Переписка с саппортом про 4kn показала, что им пофиг на платного кастомера и баг чинить никто не будет. С этого момента компания отказалась от платной подписки на RH. Из-за 4kn прикола встряли на замену 39 дисков.
* На RHEL7 под systemd демоны его падают каждые несколько часов, в логах sigterm (15), как будто systemd сам их мочит. В какой-то момент окно авторестарта демона совпало на чуть больше, чем половине машин, и кворум кластера был утрачен. Весь продакшен умер, потом вручную в RHV перезапускали все VM.
* OOM у glusterfsd - родовая болезнь. Оно у него всегда было есть и будет. По этой причине на гластер ставятся жирные по памяти машины без дополнительной нагрузки и задач. Делать HCI на нем - это самый короткий путь в OOM hell.
* Из не смертельного, но раздражающего:
- Туда нельзя положить файл размером больше брика, если брики одинакового размера
- Добровольно-принудительное использование XFS
- Проблемы с некоторыми сетевухами Dell из-за которых после нескольких дней uptime скорость GlusterFS деградирует до 10 раз (к счастью, излечимо)
Нужно ли такое в продакшене? Нет.
Спасибо. Тоже было интересно прочитать. Лишний раз удостоверился в своих размышлениях
Обсуждают сегодня