Oleg Ilinsky

Привет! Есть у меня к вам концептуальный вопрос. У нас есть мл модели, которые обучаются раз в день, два раза в день и раз в неделю. Данные для них готовим по аналогичному рас...

Привет! Чота странное происходит. Добавил в Dockerfile сточку addgroup --gid 1000460001 airflow && useradd -ms /bin/bash -G sudo -g airflow -d /usr/local/airflow --uid 1000460...

Так, с питоном не зашло, тогда похожее про scala) вот такой конфиг: props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka:9093") props.put("schema.registry.url", "http://...

Привет! А кто-нибудь аероспайк в кубах разворачивал? Вопрос насчёт официального хельм-чарта. На сколько он вообще продуктион рейди? Чота сходу не взлетает, очень сильно хочетс...

Привет! Вопрос) гружу из confluent kafka данные с помощью kafka streams (scala). Данные в avro, схема в schema registry. Есть авторизация через ssl. Когда делаю poll, падает в...

Привет! Пытаюсь поставить jupyterhub в bare-metal кластер openshift и у меня вот такая есть проблема: версия кубов, для которой написаны хельм-чарты >= 1.17, а у меня 1.11.0 Н...

Вопрос Использую gitlab ci для сборки контейнеров и закидывания их в registry. В контейнере нужны ssh ключи, которые лежат в переменных gitlab ci. И в процессе сборки я их пер...

Что лучше mlflow+airflow+jupyter или clearml ?

Единственное, кубы у нас в прайват клауде и чота там есть проблемы разного характера. Поэтому пока хз, стоит ли от хадупа отказываться. Возможно ли аналогичное на виртуалэнвах...

Привет! Использую kafka connector для получения данных из kafka в hdfs. Есть проблема, что коннектор записывает данные в файлик только батчами по "flush.size": "500000". Т.е. ...

Привет! Вопрос есть докер контейнер `python:3.6.9-stretch` и из него пытаюсь пойти по ip в другой сервис (172.20….) и ловлю ошибку соединения. Когда пытаюсь сделать ping и t...

Привет! Вопрос. Есть 11 PG. Для всех схем для юзера установили выдачу прав на чтение по дефолту: DO $do$ DECLARE sch text; BEGIN FOR sch IN SELECT nspname FROM pg_name...

Но это типа как таски в эирфлоу, каждая с разной версией модели?

А “сразу положить” - это куда имеется ввиду? Держать в памяти как питонячью структуру данных?

А спарком можно читать из двух разных хайвов в одной сесси, не используя JDBC?

Привет! А в spark 3.* каждый withColumn всё также превращается в отдельный Project stage в плане выполнения запроса или там как-то это всё соптимизировали?

Привет! Такой вопрос про запись в из файла. Есть файлик, в котором разделитель "," и null как пустая строка И В строковый тип данных записывается пустота как null, а вот в чис...

Привет) немного нубский вопрос, чёт не могу нагуглить. Можно ли стандартными методами писать из kafka streams в hdfs в parquete? Или только через kafka connector? Почему-то ве...

Привет! Выгружаю данные из кафки через kafka-simple-consumer-shell. Вызываю его из питона через subprocess.Popen(). Проблема в том, что в случае нехватки памяти на сервере, за...

через usermod? Я просто хочу использовать KubernetesExecutor, а Openshift почему-то хочет, чтобы в таком случае userid был в диапазоне от 1000460001 до чего-то там