Добрый день, подскажите кто какие ETL инструменты используют

и на какие обратить внимание, если в основном задачи по массовым загрузкам excel файлов в базу данных sql, загрузки нужно выполнять в некоторых случаях в циклах, а уже потом обрабатывать их?
Сейчас ms sql, но это не принципиально, будут еще другие

насколько большие эксели? pandas.read_excel() (или как он там)

Да тыс 50 строк ) не большие, просто нужно грузить автоматизировано в субд

ну скрипт на питоне, через пандас читать, трансформить и грузить в бд через to_sql и алхимию. Кто-то может начать душнить, но это быстро, просто и понятно

А почему душнить?) Сейчас для этих целей использую SSIS + sql

при сильном апе объемов, решение может стать техлолгом, но по вашим цифрам это не очень скоро случится.

А что не устраивает в текущем решении?

ну если работает, нельзя баш скрипт написать что бы это все запускать? а баш скрипт в крон

Долго грузит, если много файлов, ну и так интересно какие еще есть способы и инструменты

Это надо подумать, почитать, сейчас через sql agent запускаю

Ну, так может случиться, что новое решение выйдет медленнее ) в общем, я б убедился, что оно точно надо что-то менять. А то, может, это классический "работает - не трогай"

Тоже верно. Спасибо, просто интересно какие еще инструменты имеют место быть)

у мну java ковертит в csv, потом спарк грузит