Всем привет, подскажите, пожалуйста, куда копать? *Warning по Ceph* Версия Ceph: ceph

-v
ceph version 15.2.17 (8a82819d84cf884bd39c17e3236e0632ac146dc4) octopus (stable)

На текущий момент в кластере имеется сообщение:

[WRN] LARGE_OMAP_OBJECTS: 2 large omap objects
2 large objects found in pool 'default.rgw.buckets.index'
Search the cluster log for 'Large omap object found' for more details.

А конкретно:

2023-07-10T04:18:41.246875+0300 osd.88 (osd.88) 9698 : cluster [WRN] Large omap object found. Object: 8:eebddccc:::.dir.7a9771ff-8b91-48ea-b801-35432d86a2c2.175643700.1.385:head PG: 8.333bbd77 (8.17) Key count: 828432 Size (bytes): 231685412
2023-07-06T14:37:48.879376+0300 osd.55 (osd.55) 7899 : cluster [WRN] Large omap object found. Object: 8:285cbb81:::.dir.7a9771ff-8b91-48ea-b801-35432d86a2c2.175643700.1.71:head PG: 8.81dd3a14 (8.14) Key count: 1165107 Size (bytes): 326906071

Соответствие ID и бакета:

radosgw-admin metadata list --metadata-key bucket.instance | grep -i "7a9771ff-8b91-48ea-b801-35432d86a2c2.175643700.1"
"my-bucket:7a9771ff-8b91-48ea-b801-35432d86a2c2.175643700.1",

В интернете натыкался на то, что причиной может быть переполненный бакет и его надо перешардить. Но такой проблемы нет:

radosgw-admin bucket limit check | jq '.[] | select(.user_id |contains ("my-bucket"))'
{
"user_id": "my-bucket",
"buckets": [
{
"bucket": "my-bucket",
"tenant": "",
"num_objects": 25656690,
"num_shards": 409,
"objects_per_shard": 62730,
"fill_status": "OK"
}
]
}

Где-то просто советуют сделать deep_scrub на проблемные PG и OSD, но это тоже не особо помогает. Deep scrub делается, а результат не меняется

ceph pg dump pgs | awk '{print $1" "$20" "$21" "$22" "$23}'| egrep '^8\.14|^8\.17|SCRUB' | column -t
dumped pgs
PG_STAT LAST_SCRUB SCRUB_STAMP LAST_DEEP_SCRUB DEEP_SCRUB_STAMP
8.14 126724'52746904 2023-07-12T15:20:19.798161+0300 126724'52746904 2023-07-12T15:20:19.798161+0300
8.17 126663'83832160 2023-07-11T13:24:23.048353+0300 126608'83798404 2023-07-10T04:18:45.772106+0300

Граниченое значение на osd_deep_scrub_large_omap_object_key_threshold стандартное, его не крутил. И пока не очень понятно, стоит ли его увеличивать. Где-то читал, что когда-то давно он был 2.000.000, а потом его уменьшили до 200.000:

ceph config get mgr osd_deep_scrub_large_omap_object_key_threshold
200000

А в системе один бакет?

Бакетов много

Точно все в норме и не требуют решарадинга?

409 шардов, состояние ОК

На всех бакетах?

На проблемном, на остальных тоже ок

> Где-то просто советуют сделать deep_scrub на проблемные PG и OSD, но это тоже не особо помогает. Deep scrub делается, а результат не меняется — так это как обычно путают тёплое с мягким. Просто статистика по OMAP обновляется именно при scrub'е, но сам он ни-че-го с этой проблемой не решает.