Парни и Девочки, привет! У меня есть проблема при восстановлении

бэкапа монги. У меня выполняется бэкап шардированной монги с помощью pbm logical. В одной из коллекций попадает дубликат некоторых документов:
Если грепнуть по bson файлу, можно увидеть что по данному документу присутствует дубликат, отличающийся только по полю expiringAt.
{"_id":{"visitor":"435fu2llsdj5k68fl5vn56l","category":{"$numberLong":"1288087480"}},"expiringAt":{"$date":{"$numberLong":"1700430111337"}}}
{"_id":{"visitor":"435fu2llsdj5k68fl5vn56l","category":{"$numberLong":"1288087480"}},"expiringAt":{"$date":{"$numberLong":"1701680914145"}}}
При восстановлении базы, pbm агент доходит до дубликата и заваливается с ошибкой, не завершив процесс восстановления, что очень не очень. Есть ли варианты игнорить дубликаты или заставить агента реагировать на них адекватнее?

Кто вообще сталкивался с такой проблемой?

глупый вопрос, но в коллекции перед восстановлением ничего нет? просто эти два _id разные и не могут вызвать E11000. И опять же приведите полностью ошибку

вот такие ошибки: 2023-10-13T16:02:03Z E [rs3/shard03:27017] [restore/2023-10-13T13:46:51.684551381Z] restore: mongorestore: restore mongo dump (successes: 236433292 / fails: 2): sponsore.intereste: error restoring from archive on stdin: bulk write exception: write errors: [E11000 duplicate key error collection: sponsore.intereste index: _id_ dup key: { _id: { visitorId: "435fu2llsdj5k68fl5vn56l", categoryId: 44445 } }] 2023-10-13T17:29:26Z E [rs2/shard02:27017] [restore/2023-10-13T13:46:51.684551381Z] restore: mongorestore: restore mongo dump (successes: 284324699 / fails: 1): sponsore.intereste: error restoring from archive on stdin: bulk write exception: write errors: [E11000 duplicate key error collection: sponsore.intereste index: _id_ dup key: { _id: { visitorId: "7dfed5bab75efdsj345a17", categoryId: 2568 } }]

а в коллекции все чисто было перед восстановлением?

да, восстановление происходит в чистый подготовленный кластер.

при восстановлении явно указываются названия коллекций откуда куда? https://www.mongodb.com/community/forums/t/monogrestore-is-always-failing-with-e11000-error/249740

нет, не явно, восстановление происходит через pbm, восстанавливаю исходя из мануала: https://docs.percona.com/percona-backup-mongodb/reference/pbm-commands.html#pbm-restore командой: pbm restore <имя бэкапа> --mongodb-uri=localhost:27017

тогда не знаю чего предложить по перконе опыта нет. Но это повод сходить в саппорт и выяснить в чем дело

В любом случае спасибо за помощь :)

по перконе нашлось такое https://jira.percona.com/browse/PBM-1197

Да) это мой тикет)

хех)) а какой ключ шардирования?

По ключу id

тогда мои варианты все) остаются баги выборок на границах чанков или если чанки в этот момент в состоянии миграции и почемуто доступны на разных шардах для чтения, надо шерстить ченжлоги фиксов с 5 версии мож где чего такое и всплывало. Плюс в версиях которые указаны в тикете точно есть проблемы, поэтому стоит начать с обновлением до актуальной 5.0.21

миграцию я частично исключил, отключив балансировку за сутки до бэкапа, но увы, в архиве все равно присутствовали дубликаты. Я вот не могу понять, данная проблема судя по всему только у меня или она у всех, просто никто не тестирует восстановление из бэкапа)