в Тарантуле 50млн записей по 2-300кб? В плане эффективности его в таком режиме на всех слоях, включая винил, сетевой интерфейс и "драйвер" для Go.
Есть однотипные записи (ключ, атрибуты, json-data); данных заведомо больше, чем памяти. Нужен быстрый доступ по ключу, апдейт ~20% записей в день, изредка выборки по неключу (по "атрибутам"). После апдейта старые версии не нужны (хорошо, если полежат недельку, но важнее, чтобы место бесконечно не жрали). Ну и всё это с репликацией.
~4 - ~13 тера много для любой СУБД, я бы глянул в сторону нескольких инструментов, и подбирал бы их не только исходя из кол-ва записей, но и глядя на железо. Например, есть очень хорошая статья (ссылку закинул в личку) на похожую тему в блоге NetFlix.
Разбей это на несколько инстансов. Все получиться. Если у тебя конкурентная нагрузка чтение-запись, лучше тарантула не найдешь.
Обсуждают сегодня