Всем привет! Поделитесь как вы проводите сверки данных между двумя

Question

Всем привет! Поделитесь как вы проводите сверки данных между двумя

источниками или результаты работы ETL/ELT?
Понятно что тесты, но кроме тестов на предмет каких-то расхождений который могут появится в динимике.

Интересуют вопросы:
1. Сверяете регулярно, прям мониториг или в ручную?
2. Обходитесь агрегационными запросами типа count покакому-то условия или прям сверки по записям делаете?
3. Какой инструметарий используете для этого?

#hadoop #russian #software

0

31.01.2022

2 ответов

3 просмотра

Anton Zadorozhniy

1. зависит от источника, они как-то выстраиваются по спектру “враждебности” и для самых непредсказуемых обычно есть какой-то мониторинг на каждую доставку, или постоянный для потока 2. опять зависит от источника, но для любого источника я старался готовить механизм неплановой выгрузки и выверки, особенно когда дело касается бизнес-процессов, а не тупой телеметрии 3. запросы в базу, красивые витрины, какой-то специальный инструмент не готовил

0

31.01.2022

Сиплый · Accepted Answer

1. каждый раз после выгрузки из источника 2. count 3. jdbc driver так на 1 проекте было. на других raw data, которая в landing area считается как source of truth, а проверки были сделаны в qa environment. точно было известно, сколько даты в ходе теста генерится, сверяем с тем, что видим в витринах

52 похожих чатов

Всем привет! Поделитесь как вы проводите сверки данных между двумя

2 ответов

Похожие вопросы