Niyazi Garagashli

Всем привет! Особо не надеюсь, но вдруг кто-то здесь реализовал слив данных в Greenplum через питон в каком-нибудь оркестраторе? Мне импонирует Prefect, хочу его попробовать. ...

а зачем вам даталенс?

А кто подскажет, чем сейчас принято гонять sql-запросы аналитического характера по дата лейкам на паркетах и айсбергах? Знаю про Импалу только

Заскочу с вопросом от необлачного человека. Появилась возможность гибридного облака. Сейчас у нас Гринплам <10 tb объёма данных. Имеет ли смысл попробовать RDS постгресовый? И...

а я правильно понимаю, что если есть спарк кластер с нодами по, допустим, 32гб рам. И есть бд без какого-либо специального коннектора. Когда считываешь данные в спарк из бд, е...

А как Спарк понимает как делить данные между нодами?

А я ведь правильно понимаю, что duckDB поверх пандаса подразумевает, что сам пандас сначала будет полностью прочитан: т.е., если таблица или файл в пандас рам не влезает, то и...

А как можно тогда, раз apply никак не позволяет мне откушать даров arrow, ускорить отработку функции? Векторизировать вроде не выйдет, ведь функция просто обёртка криптодома

йарн зачем, если есть к8с со спарком?

А почему нельзя держать историческую таблицу скидок раз, почему нельзя в транзакции писать колонку скидки два?

не проще посмотреть, в каких папках нет файлов, и грохнуть их? скриптик же минут 10 займёт написать

а второй фильтр если проиндексировать?