Добрый день. Подскажите, читаю change stream из mongos (бд шардирована).

Нужно собрать максимально доступное количество ивентов в oplog. Возникает вопрос, как получить максимально далекий timestamp? Смотрел в метрики содержащие oplog и tail. Вижу, что при дропе коллекции, ts в метриках не сбрасывается до даты дропа - предполагаю, что в oplog будет просто событие дропа коллекции. При этом если бы у меня уже был токен от коллекции до дропа, продолжить с ним чтение не получится. Не понятно, как достать ts захватив, как можно больше ивентов касающихся актуальной коллекции?

5 ответов

28 просмотров

Не понятно зачем вам старые данные? Стрим на то и стрим что вы должны работать с текущим потоком и отталкиваться от состояния бд которое было на момент запуска стрима. Т.е. либо у вас стрим читается с начала существования бд, но это походу не ваш случай, либо вы должны предподготовку выполнить дополнительно при запуске стрима

Александр-Шматов Автор вопроса
Nick
Не понятно зачем вам старые данные? Стрим на то и ...

кажется стрим позволяет читать с произвольного момента, в частности токен является оффсетом с которого можно продолжить чтение. Реальность такова, что чтение может прерваться, за время остановки токен может уйти за границы oplog и чтобы продолжить чтение с минимальными потерями нужно вычислить максимально старый ts, чтобы продолжить чтение

Александр Шматов
кажется стрим позволяет читать с произвольного мом...

Важно различать "позволяет читать" и "позволяет выбрать любой момент в прошлом с которого начать читать"

Александр Шматов
к сожалению, не понял о чем вы

То что гарантий нет и вам самому надо все организовывать и контролировать. Хотите долгую историю - увеличивайте размер оплога, но если там уже нет данных то они из воздуха не возьмутся.

Похожие вопросы

Обсуждают сегодня

Добрый вечер, Пока не совсем понимаю как наладить общение между телеграм ботом и ПО для работы с сим боксом. По самому боту так понял: - Нужен некий баланс, который можно поп...
Magic
6
сделал сайт, прикрутил в боте сайт, и виджет логина. как автоматически логинить пользователя в аккаунт(телеграм), при входе с бота?
Александра Чернивецкая
5
Объясните, пожалуйста, почему компилятор ругается на использование в условии неинициализированной переменной: int x; Task.Run(async () => { x = await somefunc(); }).Wait...
Александр
5
Ребят, подскажите, пожалуйста, почему в префиксе к ассетам, которые генерируются через фильтр | theme в шаблоне, стал вдруг появляться index.php? Вот так выглядит ссылка на а...
Виталий
1
Всем привет. Ребята, подскажите, пожалуйста. у ботов есть ограничение на отправку сообщений - 30 сообщений в секунду, эти ограничения накладываются на все сообщения? или на со...
Artem Stormageddon
4
1. https://www.kaggle.com/code/ahmadrezagholami2001/housing-estimation-linear-regression 2. https://www.kaggle.com/code/ahmadrezagholami2001/uncovering-quality-in-wines-logis...
Ahmadreza
1
Блин, ребята, сори за тупые вопросы. А можно ли как-то открыть вебапку по нажатию на кнопку в меню(которое появляется слева, команды)?
Artem Stormageddon
3
а плаксы из-под питона умеют только в комфортных условиях что-то выдавить из себя?)
Lencore
9
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
13
Это может быть все-таки не флудвейт? у меня ботфазер принимает изменения и отображает даже что они изменились, на видео видно что он прислал якобы уже измененное описание, н...
OVERLINK
13
Карта сайта