Fedor Polyakov

привет всем! пробую запустить спарк в докер контейнере на тачке, прокинув спарк с сервера в локальном режиме работает и доступ к hdfs есть, но есть выполнять при --master yar...

Всем привет! Есть задача по чтению Кафки Спарк стримингом и складыванием сообщений в хадуп. Схема в value может изменяться и поэтому не получается задать схему по которой мож...

привет всем) хочу запустить спарк сабмит в ярн режиме в контейнере, используя спарк примаунченный с хоста у меня получилось запустить контейнер с опцией --net=host, а вот как ...

Всем привет! Хочу запускать питоновский код в контейнере с датаноды кластера, при этом используя pyspark, который установлен на ноде То есть в контейнере просто лежит питоновс...

А --net=host так себе практика?