опыт загрузки excel файлов через SSIS, если в некоторых файлах есть новые столбцы а в некоторых их нет и столбцы могут быть в разном порядке, как правильно настроить?
Стикер
Необходимо много excel файлов из папки загружать в таблицу SQL. Этот процесс уже настроен все отлично, но в новой задаче в файлах excel столбцы с названием могут стоять в разном порядке, кроме того, в некоторых файлах могут добавлены новые столбцы, а в некоторых файлах столбцы могут быть задублированы. Необходимо грузить файлы не по индексу а по названию столбцов, если встречается два одинаковых столбца - то грузить первый столбец, если добавляется новый столбец в файле - то в БД загружать не нужно
мне казалось, SSIS был устойчив к append изменению схемы условно select a1, a2, a3 from [Sheet1$] примерно пофиг на наличие a5, a10 и т.д. дублирующиеся имена колонок это проблема - сходу не помню уже, как оно себя поведёт но это прекрасно фильтруется сторонними скриптами для анализа схемы и контента
я написал сначала через openrowset автоматическую загрузку с эксель, но драйвер ace12 заваливался.. щас переделал на python pandas pyodbc... и все норм уже 3 дня))
А подскажите какой компонент позволяет добавлять python скрипт?
я его отдельно запускаю по времени в планировщике windows.. заполняю временную таблицу в SQL, а в базе уже выполняется джоб - выбираю темп таблицу и делаю merge с основной..
А, понял, спасибо
https://learn.microsoft.com/ru-ru/sql/machine-learning/sql-server-machine-learning-services?view=sql-server-ver16
интересно а библиотеки можно туда устанавливать.. pip install?
Обсуждают сегодня