Всем привет! Особо не надеюсь, но вдруг кто-то здесь реализовал слив данных в Greenplum через питон в каком-нибудь оркестраторе? Мне импонирует Prefect, хочу его попробовать. ...
а зачем вам даталенс?
А кто подскажет, чем сейчас принято гонять sql-запросы аналитического характера по дата лейкам на паркетах и айсбергах? Знаю про Импалу только
Заскочу с вопросом от необлачного человека. Появилась возможность гибридного облака. Сейчас у нас Гринплам <10 tb объёма данных. Имеет ли смысл попробовать RDS постгресовый? И...
а я правильно понимаю, что если есть спарк кластер с нодами по, допустим, 32гб рам. И есть бд без какого-либо специального коннектора. Когда считываешь данные в спарк из бд, е...
А как Спарк понимает как делить данные между нодами?
А я ведь правильно понимаю, что duckDB поверх пандаса подразумевает, что сам пандас сначала будет полностью прочитан: т.е., если таблица или файл в пандас рам не влезает, то и...
йарн зачем, если есть к8с со спарком?
А почему нельзя держать историческую таблицу скидок раз, почему нельзя в транзакции писать колонку скидки два?
А как можно тогда, раз apply никак не позволяет мне откушать даров arrow, ускорить отработку функции? Векторизировать вроде не выйдет, ведь функция просто обёртка криптодома
не проще посмотреть, в каких папках нет файлов, и грохнуть их? скриптик же минут 10 займёт написать
а второй фильтр если проиндексировать?