Кстати про паркеты. Можете подсказать, пожалуйста, как можно большую таблицу постгреса выгрузить в паркет, желательно разделить, чтобы было несколько небольших паркетов вместо...
Товарищи, мне отвели +- 2 недели на изучение Apache Flink, а затем надо будет показать себя крутым на собеседовании в проект, где это используется. Можете поделиться, пожалуйс...
А каким образом можно сделать заполнение второй колонки значениями выше null-ов, то есть от строки с 1 вниз до строки с 2 подставились 1 и т.д.? Пытался с lag, но он только сл...
Есть задача по выполнению некоторого расчёта денег. На первом скрине слева товары отдельных категорий и сколько денег за них дали, справа по каждой категории должно быть высчи...
Делаю некоторый рефакторинг в исходном коде и пытаюсь создать тест в пакете tools с использованием таких конструкций: @ExtendWith(value = ClusterTestExtensions.class) ... @Clu...
Подскажите, пожалуйста, есть ли разумный способ сделать вот такой универсальный класс с утилами, где будет универсально вызываться метод других классов? По долгому опыту с Pyt...
Есть два стуладатасета: csv и json. В обоих данные о пользователях, но из разных источников и включают разные поля. Партиционированы по датам. Задача слить это в один DWH. Под...
Подскажите по Snowflake, пожлуйста. Мне нужно высчитать номера недель, но начиная с пятницы как старт недели. Использую функцию WEEK, и в случае, когда календарной недели в ко...
А есть какой-нибудь фреймворк на Scala, чтоб был с админкой как в Django у питонистов?
А кто-нибудь проходил курс по ссям от mail.ru? Однажды видел его, вроде, на степике, а сейчас не могу найти нигде... Может, кто помнит? Поделитесь
Подскажите, пожалуйста, есть ли способ получить данные из контейнера на хост монтированием? То бишь внутри контейнера некая команда генерирует некоторые данные в папку, котора...
Подскажите, как найти инфу о протоколах слушателей Кафки? Вижу строчку вида listeners=INTERNAL://0.0.0.0:19092,EXTERNAL://0.0.0.0:9092 и не могу понять, вместо INTERNAL и EXTE...
PyCharm почему-то будто не видит, что BaseModel в файл не импортирована, не подсвечивает ошибку. Из-за этого не появляется кнопка для автоимпорта. Как это пофиксить? На сайте ...
Ситуация следующая. Я на веб-морде нажимаю кнопку, на бэке в обработчике запускаю таск Celery. Этот таск в свою очередь запускает пачку тасков в chord. В каждом таске из пачки...
На постгре со спарком это будет выглядеть долгоиграющим решением?
При заходе на страницу браузер пихает мне окно для авторизации. Ввожу креды, всё работает. Когда эти же креды передаю в requests, получаю 401. Как залогиниться в коде? Какой-т...
Пытаюсь с pydantic сделать следующее. Сразу на примерах. Есть модель User, в которой поле projects с типом List[Link]. Link — другая модель, у которой поля name и url. Я хочу ...
Как можно spark-avro добавить в Spark, чтобы не добавлять --jars при запуске? Или как можно запускать spark-submit из PyCharm с указанием --jars впереди всех аргументов? Там с...
Вот без округления дробной части. В моём случае до двух знаков после запятой не округлить без потерь, получается?
Давайте вместе подумаем над одной задачей. Есть код, который шерстит файлы, индексирует их. Это работает как таск в Celery и в настоящий момент, так как это времязатратная про...