лечили ?
Залил пару петабайт в ceph rgw, пару месяцов поработало, стал скачивать - 500гб с NoSuchKey, в индексах "есть", а если пытаться получить, то "s3cmd get" выдает S3Error: 404 (NoSuchKey) .
Повезло, что тестовое окружение. Но как-то стремно терять данные на ровном месте. Ничего не падало, не обновлялось. Индексы на ссд, данные на hdd.
Было чтото похожее в лабе, но грешил на косяки клиента
Да проблеме много лет уже похоже, давно тянется. Решение увеличить rgw_gc_obj_min_wait кажется странным, даже если работает. Дополнение тут: https://tracker.ceph.com/issues/44660
Обсуждают сегодня