сделать распределенную обработку данных и вернуть результат (возможно запись в бд). Почитал про MapReduce, но он основывается на паре ключ/значение, что не подходит так так данные редко повторяются. И в идеале чтобы нагрузка распределялась в зависимости от нагрузки серверов. Одной из проблем является "Локальность данных", потому как проблемой может стать передача данных между серверами. Какую модель распределенных вычислений использовать?
Ты хочешь автоматическое распределение нагрузки, с этим разве что хадуп, да спарк может как-то справиться
Обсуждают сегодня