Допустим веду историю о покупках юзеров, туда записывается вся информация с датой, каким способом можете предложить чистить бд, такое в обще практикуют? Просто не встречал об этом информации. Python, Postgresql - модуль - sqlalchemy
Помогите пожалуйста, может почитать дадите, что нибудь. Пожалуйста.
Если шедуллером вычищать данные каждый день, это норм вариант? Просто выделять все строки, которые старше месяца, и циклом дропать их, это костыльно, не?
Обычно строчки в бд это что-то очень дешевое и рекомендуется вообще не чистить ничего, потому что может что-то оказаться важным, но утерянным. Да, самому вычищать каждый день старые строки не костыль, если мы решили, что удалять строки вообще не костыль.
Кароче я в обще дебил. Можно просто одним запросом все дропнуть. *facepalm
Обычно есть даталейки, где хранится вся инфа, а потом в дата варехауз заливают инфу исходя из нужды
Чую опыт работы с петабайтами
Это где такое делают?
Та работаю на одну израильскую компанию. У меня рабочие таблицы до 100млрд записей
Поэтому думаю, что дата инженеры явно работают ну с очень большими объемами
Ну не всегда, дейиалейки уже нон комильфо
Плохая практика, почти всегда дейталейк превращается в помойку
Обсуждают сегодня