задач под Nomad с докером. Помогите советом пожалуйста.
Задача: Хочется чтобы при перезапуске контейнера на разных нодах Nomad'а подхватывался volume этого контейнера (мелкие БД например и другие данные). Объем всех данных до 5Тб включая файловые помойки. Скорость не сильно важна, обычная офисная нагрузка (офис 50-100 человек) на приложения, никакого HighLoad. В наличии имеется QNAP с SSDшками и пару железных серверов с дисками. В далеком будущем (~год) возможен переезд всего в облако AWS или Google.
Вариант: расположить volume всех контейнеров так, чтобы они были доступны со всех нод Nomad'a. Тогда без разницы на какой ноде запустится джоба, она найдет свой volume. В таком решении, как я понимаю, требуется или SDS, или кластерная FS.
Начал со второго и уже пробовал gfs2 через pacemaker и т.д. с тестовым диском через iSCSI. Более-менее Ок, но на тестах были проблемы с cLVM и corosync. Хочется более стабильное решение не требующее глубокой поддержки. Смотрю на таблицу на CNCF и выбор не большой, чтобы еще и работало без K8N (тк Nomad): Ceph и Gluster посути? Смотрел в сторону Ceph, но судя по отзывам тут как раз требуется еще больший уровень поддержки. Тогда пробовать Gluster? Или может я совсем не то делаю?
Как раз сегодня постили в рукубер статейку http://vitobotta.com/2019/08/06/kubernetes-storage-openebs-rook-longhorn-storageos-robin-portworx/ Посмотри фидбэк и что из этого на Nomad заведется.
https://blog.tjll.net/distributed-homelab-cluster/#persistent-storage
У нас тоже небольшие нагрузки и nomad, docker, ceph и rexray чтобы докер смог в rbd. Посмотри rexray, он вроде и в s3 может писать
Обсуждают сегодня