тест класс с junit, в @before определил sparkSession, в тестовом методе нужно создать dataset из sequence с тестовыми даннымми. Создает датасет с одной колонкой value с бинарными данными. Имплиситс не могу прописать, потому что sparkSession определена в @before. Как правильно сделать? Пробовал энкодер сделать но видно "руки кривые" или туплю🙂
сессию спарковую тебе не надо в бефор секции определять; просто как поле класса создай ее
Можно вообще вот так https://github.com/holdenk/spark-testing-base
Обсуждают сегодня