Нужна небольшая консультация, чтобы понять в какую сторону копать. Есть задача

Question

Нужна небольшая консультация, чтобы понять в какую сторону копать. Есть задача

переливать каждый день в заданное время данные(примерно 1ккк строк) между таблицами разных базах(например, из терадаты в оракл).
По сути результат SQL запроса к одной базе переложить в другую.
И есть пара моментов:
Нужно иметь возможность анализировать поток - например, посчитать количество обработанных записей и найти максимальное значение какого-нибудь поля среди них.
Нужно иметь возможность вставлять в таргет не всё сразу, а кусками(10кк за раз).
И нужно уметь отлавливать момент окончания переливки и выполнять какие-либо скрипты к базам(запускать процедуры для дальнейшей обработки).

Есть ли в Питоне инструменты, которые смогут это сделать, или лучше посмотреть в сторону других языков, или городить самому?

#backend #programming #python #russian

0

26.09.2020