Сообщество, привет. Может кто-то сталкивался в синапсе с интересным эксепшном

который возникает при любой экшн операции в датафрейме сделанном spark.read.synapsesql()?
Эксепшен:
Py4JJavaError: An error occurred while calling o4035.showString.
: com.microsoft.spark.sqlanalytics.SQLAnalyticsConnectorException: com.microsoft.sqlserver.jdbc.SQLServerException: CREATE EXTERNAL TABLE AS SELECT statement failed as the path name 'abfss://******@**********.dfs.core.windows.net/container/folder/subfolder/SQLAnalyticsConnectorStaging/application_1377007503111_0003/fdfs26LUOq2d98e1bbc05c4795ba28ecbb4192fbfsadfd.tbl' could not be used for export. Please ensure that the specified path is a directory which exists or can be created, and that files can be created in that directory.
Детали:
1. Позавчера работало, а со вчера нет
2. Запрос в SSMS работает
3. У коллеги тот же ноутбук с этим же запросом работает без ошибок
4. Девопс говорит, что ничего не менялось в плане прав у меня

Буду благодарен помощи.

Спарк читает из сиквел пула? Синапс коннектор создаёт внешние объекты, но никогда за собой не удаляет. Пробовали удалить руками все объекты?

Еще если в коде при записи не указываете темп папку явно, он использует сторадж, который дефолтный для синапса, он тоже никогда сам не чистится, его надо руками очищать периодически. Тоже советую

в темпорари папке, которая определена в Constants.TEMP_FOLDER ничего не создается.

С ним всегда эксепшены и не всегда интересные :/

давай щас пробну

а тут много экспертов по синапсу?) может кто-то знает альтернативу этому тупому встроенному коннектору для спарка? с этими внешними таблицами i/o и GC time взлетает до небес, у нас выгрузка данных из пула всегда занимает 90 процентов времени от работы спарк-кода, тупо Idle на всех экзекьюторах((

Databricks

я наоборот к нему ушел, потому что БД кастрированная и функционала не хватает.

типа перейти на датабрикс?)) нас с него перешли) боль не описать словами

Надо было в Датабрикс - Синапс же майки объявили что больше не будут поддерживать. А тот Фабрик что на замену это какая-то шутка Если запустить data flow, то его нельзя остановить : https://community.fabric.microsoft.com/t5/Dataflows/How-do-I-cancel-a-dataflow-gen2-refresh/m-p/3294897

фабрик это просто ор, еще больше оберток, нам недавно тип с сапорта сказл, что часть логических активностей в ADF и Synapse построены на logic apps. Тут то нам все стало понятно)))