медиа(аудио/видео) сегментах.
Каждому сегменту соответствует некоторый файл, лежащий на диске.
Репликация мета-данных на тарантуле работает прекрасно. Но хочется помимо мета-данных еще и файлы реплицировать.
Есть ли какой-либо простой способ зареюзать алгоритм репликации вшитый в тарантул еще и для репликации файлов (то есть например написать копирующий плагин). Очень хотелось бы чтобы сохранилась целостность, то есть синхронно с мета-данными отрабатывал плагин, копирующий внешние файлы.
Варианты взять GlusterFS/CEPH и т.п. не предлагайте, вопрос - можно ли это легко сделать средствами тарантула, желательно так, чтобы на уровне работой с моделью данных не учитывать.
Сохранять большой блоб информации в тарантул можно, работает - НО: Итоговый WAL и прочий кеш весят в 2 раза больше объема сохраненных медиа-блобов, именно поэтому храним файлы снаружи.
Прошу советов на эту тему 🙏🙏🙏
А блобы лежат прям на серверах с Тарантулом на диске за нджинксом?
Да, прям на диске на серверах с тарантулом. Прям можно открыть файл из тарантула. Можно и за NGINX запрятать, как угодно.
есть пара мыслей через очерди и тп, чтобы не прокачивать сам файл через репликацию, но глобально это немного странненько. Кажется, что кол-во файлов будет расти, и скорее всего 2х серваков станет мало, тогда будет совсем неудобно жить. Может вы какой-нибудь небольшой s3 себе поднимете?
может быть, но есть одно но. Скорость записи в этот S3 не устраивает. Тестировали GlusterFS -> он проседает при увеличении числа машин. Возможно конечно мы его не так готовим:( Но скорость записи уж очень сильно меньше, а для нас это критично. То есть эти файлы, можно потом перенести, забекапить в S3, но нам важен реал-тайм.
Обсуждают сегодня