и обрабатывает его. При высокой нагрузке я не могу обработать всё сразу и входные потоки хочу просто сохранять во временный буффер, обрабатывая их позднее в порядке очереди. Возник вопрос – где лучше хранить этот временный буфер?
Локально на самих инстансах – не вариант, может привести к забитию диска и неравномерной нагрузке.
Думал про S3, Redis и mongodb. Что лучше? Может есть еще какие-то варианты? S3 кажется будет не очень, т.к. там будут валятся сотни фрагментов по 1-2 секунды, их выкачивать долго. Redis ограничен RAM, что очень мало. Остается mongo, вроде норм. Но может я чего-то не вижу?
Есть ещё Cassandra/ScyllaDB
Обсуждают сегодня