Привет! У меня есть сущность в программе (импортёр). Клиент может выбирать

Question

Привет! У меня есть сущность в программе (импортёр). Клиент может выбирать

из набора импортёра конкретные типы, которые забирают данные из разных endpoint-ов.
Я добавляю ETL в этот процесс и пишу данные в промежуточную БД, которую буду потом трансформировать, как мне буде удобно.

Мне нужно знать, какие таблицы в БД к каким импортёрам относятся. Как лучше построить эту связь?

#oop #programming #russian #software #web-design

0

14.09.2023

16 ответов

32 просмотра

Sven d Автор вопроса

Gleb Fault
А обязательно таблицы?

Уточните вопрос, пожалуйста

0

14.09.2023

Gleb Fault

Sven d
Уточните вопрос, пожалуйста

> Мне нужно знать, какие таблицы в БД к каким импортёрам относятся Вы хотите именно в таблицах хранить сущности или это не принципиально?

0

14.09.2023

Sergey P

А в чем вопрос? Как лучше - хз, в условиях нет инфы что бы оценить

0

14.09.2023

Sven d Автор вопроса

Sergey P
А в чем вопрос? Как лучше - хз, в условиях нет инф...

вообще БД для ETL это тупо временная карманная база на sqlite. Ми забираем данные из datasource-ов (их может быть несколько), трансформируем в тот формат, которые будет удобен нашей системе и потом сливаем все данные в основную систему. Для бизнес логики нужно отображать клиенту инфу, про то, какие таблицы находятся в импортёре. Я пока что не знаю, где лучше эту инфу держать, как формировать эти связи и ТД.

0

14.09.2023

Sven d Автор вопроса

0

14.09.2023

Nikolay Turskyi

А почему не на лету создавать таблицы, которые содержат имя импортера или ид импортера? endpoint_1_{import_name} и т.д Соответственно если импортер состоит из разного количества эндпоинтов создать и каждый эндпоинт имеет разные данные, то по имени можно спокойно найти к какому эндпоинту отнести таблицу и какому импортеру и после обработки, просто грохнуть временную таблицу.

0

14.09.2023

Sven d Автор вопроса

Nikolay Turskyi
А почему не на лету создавать таблицы, которые сод...

Окей, был такой вариант Но есть вероятность, что таблицы могут быть персистентными (например, при повторном импорте будем забирать часть данных от конкретной даты)

0

14.09.2023

Nikolay Turskyi

Sven d
Окей, был такой вариант Но есть вероятность, что т...

Ну тогда относительно различных эндпоинтов, применяйте разные стратегии. Если не нужно рубить/удалять, то кладите в одну таблицу для эндпоинта и добавляйте ссылку на импортера. После обработки данных, к примеру, можно оставлять условно последнюю запись для загрузки в дальнейшем только от определенной даты. Вам нужно определиться с эндпоинтами, как вы в них ходите, где что "дешевле" по получению данных, что можно не кешировать, где эндпоинты залить себе, потому как для всех импортёров будут одни и те же данные и т.д.

0

14.09.2023

Sven d Автор вопроса

Nikolay Turskyi
Ну тогда относительно различных эндпоинтов, примен...

Спасибо Приму во внимание)

0

14.09.2023

Artur

Sven d

может вам пересмотреть модель и сделать как в прометее? т е самим ходить за данными из aggregation mechanism в каждый дата сорс

0

15.09.2023

Sven d Автор вопроса

Artur
может вам пересмотреть модель и сделать как в пром...

Не выйдет, к сожалению - механизм агрегации базируется полностью на sql. Интерфейсы получения из datasource могут быть разными (БД, файл, API)

0

15.09.2023

Max Grom

А как это у вас механизм агрегации на SQL, а датасорс по API? Вы условный json ложите в реляционку в raw формате?

0

15.09.2023

Sven d Автор вопроса

Max Grom
А как это у вас механизм агрегации на SQL, а датас...

Если коротко, то да: почти все API возвращают нам плоскую структуру (некоторые в формате json, некоторые xml)

0

15.09.2023

Max Grom

Sven d
Если коротко, то да: почти все API возвращают нам ...

Как тогда это противоречит идее выше где предлагается ходить самому? Общение по API у вас, судя по всему, уже есть, и судя по всему вы же и собираете эти данные

0

15.09.2023

Sven d Автор вопроса

Max Grom
Как тогда это противоречит идее выше где предлагае...

Тогда я, скорее всего, неправильно понял идею

0

15.09.2023

Gleb Fault · Accepted Answer

Gleb Fault

А обязательно таблицы?

0

14.09.2023

212 похожих чатов

Привет! У меня есть сущность в программе (импортёр). Клиент может выбирать

16 ответов

Похожие вопросы