с недельными партициями, и раньше для очистки базы и ротации данных удаляли целиком наиболее старую партицию, хотя это было и болезненно удалять сразу неделю... Есть возможность удалять данные партами... В связи с этим 2 вопроса... В партах данные укладываются последовательно и можно удалять те парты, где max date минимальный и правильный ли это параметр для выборки парта (как быть если max date одинаковый у всё партов, можно удалять любой?)... Или в таком случае будет нарушена целостность данных и в других партах могут остаться данные старше, чем в удалённой или будет удалена часть данных, связанных с другими партами, и удалять надо в любом случае целиком партициями, чтобы не была нарушена целостность и ретроспективная последовательность данных. Заранее благодарю за помощь...
Вопрос, а почему вы не используете TTL ?
TTL не слижком тяжёлый и будет работать не нагружая систему для объемов данных в десятки/сотни млрд записей в неделю (партиция в 1-1.5 Tb?
А почему это было болезненно? Очень много файлов?
Болезненно обычно запускать alter delete, а удалить патрицию - это обычно самое безболезненное
Обсуждают сегодня