Кстати про паркеты. Можете подсказать, пожалуйста, как можно большую таблицу постгреса выгрузить в паркет, желательно разделить, чтобы было несколько небольших паркетов вместо...
Товарищи, мне отвели +- 2 недели на изучение Apache Flink, а затем надо будет показать себя крутым на собеседовании в проект, где это используется. Можете поделиться, пожалуйс...
А каким образом можно сделать заполнение второй колонки значениями выше null-ов, то есть от строки с 1 вниз до строки с 2 подставились 1 и т.д.? Пытался с lag, но он только сл...
Есть задача по выполнению некоторого расчёта денег. На первом скрине слева товары отдельных категорий и сколько денег за них дали, справа по каждой категории должно быть высчи...
Делаю некоторый рефакторинг в исходном коде и пытаюсь создать тест в пакете tools с использованием таких конструкций: @ExtendWith(value = ClusterTestExtensions.class) ... @Clu...
Подскажите, пожалуйста, есть ли разумный способ сделать вот такой универсальный класс с утилами, где будет универсально вызываться метод других классов? По долгому опыту с Pyt...
Есть два стуладатасета: csv и json. В обоих данные о пользователях, но из разных источников и включают разные поля. Партиционированы по датам. Задача слить это в один DWH. Под...
Подскажите по Snowflake, пожлуйста. Мне нужно высчитать номера недель, но начиная с пятницы как старт недели. Использую функцию WEEK, и в случае, когда календарной недели в ко...
А есть какой-нибудь фреймворк на Scala, чтоб был с админкой как в Django у питонистов?
А кто-нибудь проходил курс по ссям от mail.ru? Однажды видел его, вроде, на степике, а сейчас не могу найти нигде... Может, кто помнит? Поделитесь
Подскажите, пожалуйста, есть ли способ получить данные из контейнера на хост монтированием? То бишь внутри контейнера некая команда генерирует некоторые данные в папку, котора...
Ситуация следующая. Я на веб-морде нажимаю кнопку, на бэке в обработчике запускаю таск Celery. Этот таск в свою очередь запускает пачку тасков в chord. В каждом таске из пачки...
PyCharm почему-то будто не видит, что BaseModel в файл не импортирована, не подсвечивает ошибку. Из-за этого не появляется кнопка для автоимпорта. Как это пофиксить? На сайте ...
Подскажите, как найти инфу о протоколах слушателей Кафки? Вижу строчку вида listeners=INTERNAL://0.0.0.0:19092,EXTERNAL://0.0.0.0:9092 и не могу понять, вместо INTERNAL и EXTE...
На постгре со спарком это будет выглядеть долгоиграющим решением?
При заходе на страницу браузер пихает мне окно для авторизации. Ввожу креды, всё работает. Когда эти же креды передаю в requests, получаю 401. Как залогиниться в коде? Какой-т...
Пытаюсь с pydantic сделать следующее. Сразу на примерах. Есть модель User, в которой поле projects с типом List[Link]. Link — другая модель, у которой поля name и url. Я хочу ...
Давайте вместе подумаем над одной задачей. Есть код, который шерстит файлы, индексирует их. Это работает как таск в Celery и в настоящий момент, так как это времязатратная про...
Как можно spark-avro добавить в Spark, чтобы не добавлять --jars при запуске? Или как можно запускать spark-submit из PyCharm с указанием --jars впереди всех аргументов? Там с...
Вот без округления дробной части. В моём случае до двух знаков после запятой не округлить без потерь, получается?