меня есть сервис, в котором регистрируются инстансы другого сервиса, пока что это реализовано в виде обычной concurrent хэш-мапы, но горизонтально масштабироваться с таким решением не получится, смотрел в сторону зукипера, но пока не решил.
цель какая?
У меня на каждом неймспейсе крутится агент, который умеет запускать на этом неймпспейсы какие-то джобы, есть другой сервис, который только координирует(И еще пару вещей делает), где будет эта джоба запущена, поэтому агенты регистрируются и кидают healtcheck'и в сервисе координатора, а координатор должен знать, кому он может дать задание.
ну для наколенного решения хватит и хэшмапы, только раунд робин прикрутить к этому делу, даже если инстансов будет тыща
Проблема возникает, если координирующего сервиса больше, чем один инстанс, тогда будет двунаправленная связь, так как теперь агентам нужно знать, какие координаторы существуют, чтоб у всех зарегистрироваться.
исходя из этого сообщения
Напиши как перепишешь yarn или kubernetes
А зачем вам кубернетис?
Ну это действительно похоже на yarn, но там просто бизнес-область другая)
Ну вон же человек нагрузку шедулит
Какая ещё бизнес-область? Ярн можно только в микрофинансах выкатывать или что?
Мне нужно задачи раскидывать по определенным признакам, а не только по нагрузке. Ну может в ярне это тоже можно реализовать, я не знаю. Да и там очень простое планирование заданий, не хочется ради этого хадуп тянуть.
что за yarn? можно линк?
https://ru.wikipedia.org/wiki/Hadoop
Ты ж пишешь что у тебя опеншифт, зачем тебе вообще что-то?
Не совсем понял вопроса, как мою проблему решить средствами k8s?
https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html
я может не понял что, но у тебя в кубере есть etcd
Ну да, но мне нужно дискавери в рамках нескольких кластеров.
Обсуждают сегодня