условно на 2 части:
1. 1 часть кластера обслуживает запросы API и основной use case получать данные по конкретному пользователю. Здесь высокий qps.
2. 2 часть кластера обслуживает внутренние запросы от аналитиков, которые необязательно запрашивают данные по конкретному пользователю, а сразу по всем. Здесь низкий qps, но перебирается больше данных.
Задача такая, чтобы запросы из 2 пункта не влияли или слабо влияли на запросы 1 пункта, чтобы эти части кластера были условно независимыми, но при этом данные чтобы были консистентными в итоге.
Как данная проблема решена внутри Yandex?
Если есть реплики пустите на них аналитиков и уберите их из distributed куда ходит API, а вообще не должно сильно афектить, у нас, например, аналитик вполне себе в тотже кластер ходит
Обсуждают сегодня