@iamelyaz

у меня сейчас airflow 1.10.15 запускаю команду на проверку готовности к апгрейду airflow upgrade_check получаю такой фидбек DAG file /home/airflow/gcs/dags/dag.py with task_...

Ребят, подскажите с SQL, плз. Игрушечный код CREATE TABLE A ( id1 int ); CREATE TABLE B ( id2 int ); INSERT INTO A (id1) VALUES (1); INSERT INTO A (id1) VALUES (1)...

ребзя, вопрос по скале - я чутка запутался.. есть код val result = (schema1.keys ++ schema2.keys). map(_.toLowerCase). toList.distinct. flatMap { (columnName: ...

Коллеги, рубрика вопрос из собеседования Сегодня спросили примерно следующее: спарк читает файл (ни про размер файла, ни про формат ничего не упоминали), и считает количество...

Ребзя, а подскажите, пожалуйста, по SQL CTE Почему второй вариант не работае. Что я написал не так? Код - dbt+bigquery Для вашего удобства чтения вынес код (те несчастные 15 с...

как вы менеджите зависимости разных пакетов в пайтоне с пипом? есть пакет click, он является subdependency для flask и black. фласк требует одну версию, блек - другую. одна не...

чат, вопрос по airflow есть несколько тасок, для которых нужны bigquery клиенты. 1. создавать их в каждой таске? но это ресурсо и время затратно 2. передавать их в x-com? та...

Ребзя, что гуглить чтоб найти использование в проде разных структур данных (stack/tree/linked list и других более сложных, чем list/set/dict)? Я нашел такое https://www.cs.cor...

ребят, привет подскажите плз как запустить джарник скалы из терминала? максимально простой код - один класс, 2 принта, object Main extends App. упаковал его в .jar с помощью m...

Хорошо, мб так попробуем?) Применяли ли вы линкедлисты, стеки, кучи в проде? Не обязательно писать свои, можно через импорты, просто интересно понимать для какой конкретной за...

ребзя, помогите советом плз, сам что-то не способен нагуглить (гуглил по запросу `specify inner dependencies python`) как в пайтоне с некоторого времени указать конкретную вер...

подскажите, пожалуйста, как правильно писать на pyspark чтоб не было вот такого неочень осмысленного полотна? ```python if is_target_partitioned: anonymized_source_df \ ...

как вы на датабриксе логируете? пробовал через logger.info() - логи в stdout не мог найти, то переписал все на println() - это ок или не ок практика?

ребята, привет) вопрос может показаться максимально примитивным, но ответ на просторых тырнета не нашел) как правильно дебажить датафреймы в скала+спарк в идее? добавляю в воч...

а можешь плз подсказать как логлевел изменить? в проекте нет .conf файла или log4j.properties, где был бы засетаплен уровень логирования

Спасибо! А количество партиций от чего зависит?

Ребяшки, кто может поделиться, пожалуйста, книгой Kubernetes: Up and Running, 2nd Edition , для Kindle - .mobi формат? Искал по интернетах, только .pdf нашел. Книга https://w...

Ребят, есть база данных реалм и нужно как-то менеджить внутренние группы. Кейс - группа, в ней есть 2 вложенные группы, в этих двух вложенных группах еще несколько и тд Визуал...

Господа, возникла потребность изменить имя автора коммитов. Изменил последний - HEAD и предыдущий, согласно этому ответу http://stackoverflow.com/a/3042512/5151861, студия теп...

Нужно делать exandable recycler view, чтоб по клику на хедер разворачивалось Подскажите плз, лучше посмотреть как реализовано и написать свое или подключить либу? Поискал либы...