Connector в своём pyspark-приложении. В режиме .master("yarn"). И подключаться к Кассандре по SSL.
Выдали мне наши девопсы путь до файла Trust Store, каковой выложили на каждую ноду нашего Spark-кластера по этому пути.
Я прописываю конфиги Spark-сессии:
spark.cassandra.connection.ssl.enabled: true
spark.cassandra.connection.ssl.clientAuth.enabled: false
spark.cassandra.connection.ssl.trustStore.path: "/home/tech_profiling/mdp-cassandra-keystore.jks"
spark.cassandra.connection.ssl.trustStore.password: "cassandra"
Но не тут-то было: мне кидают ошибку:
py4j.protocol.Py4JJavaError: An error occurred while calling o486.save.
: java.nio.file.NoSuchFileException: /home/tech_profiling/mdp-cassandra-keystore.jks
Имею спросить: не наступал ли кто уже на такую мину?
Ну так ноусачфайл. Проверь
Так вроде проверял: зашёл на парочку нод, сделал ls /home/tech_profiling/mdp-cassandra-keystore.jks — вроде на месте.
Обсуждают сегодня