Так как я предложил вариант с ETL сразу могу сказать

Question

Так как я предложил вариант с ETL сразу могу сказать

где и что может пойти не так:

- Переодичность не слишком ли частая для ежемесячного отчета? Нагрузку дополнительную не сделаете? Может лучше выгружать раз в день во время минимальной активности (например ночью)
- С удалением разобрались, вроде не может быть. Хотя опыт подсказывает, что иногда и такое происходит
- Обновление записи предусматривается? Если так, то нужно продумать и этот момент
- Флаг выгрузки хранить это Worst Practice.
+ Учитывая реализацию MVCC в pg у вас будет фактически происходить DELETE+INSERT на каждый ваш UPDATE, что породит дополнительную нагрузку на систему
+ Если когда-то надо будет в разные конечные системы гнать информацию, то для каждой системы поле не добавишь
+ Ну и готовьтесь, что при первом запуске скрипта у вас вся таблица увеличится в два раза

Как можно сделать:

- Если у вас данные Append Only добавить в таблицу поле "created_at timestamp with timezone DEFAULT CURRENT_TIMESTAMP NOT NULL"
- Если подразумевается, что данные изменяются, то стоит добавить "updated_at timestamp with timezone DEFAULT CURRENT_TIMESTAMP NOT NULL" и задействовать тригер moddatetime() из spi расширения (https://www.postgresql.org/docs/9.1/contrib-spi.html). Пример использования можно найти в исходниках pg: https://github.com/postgres/postgres/blob/REL9_3_STABLE/contrib/spi/moddatetime.example
- Обязательно ввести понятие системы источника, например callcenter1.datadescription и callcenter2.datadescription, так будет проще ориентироваться, откуда данные пришли
- Брать данные в часы простоя системы
- Брать не на сейчас, а например за предыдущие сутки + 1 день, что снизит вероятность, что вы что-то забудете
- Сверять новую / обновленную информацию уже в системе в которую будете загружать
- Создать метахранилище, в котором хранить информацию: система источник, когда данные были забраны, когда обработаны и статус обработки.
- Продумать возможность повторной выгрузки данных

#backend #devops #pgsql #programming #russian

0

03.06.2019

2 ответов

15 просмотров

Yaroslav Schekin

Вот это я и имел в виду, когда писал "запросто даст Вам в центральной базе неконсистентную кашу". Т.е. это всё — попытка реализации консистентной (или нет?) односторонней логической репликации "своими руками", по большому счёту. Т.е. тут и писать не так уж мало, да и "накосить" легко. Может быть, стоит поискать готовое решение?

0

03.06.2019

Евгений Сверчков · Accepted Answer

Евгений Сверчков

👍

0

03.06.2019

172 похожих чатов

Так как я предложил вариант с ETL сразу могу сказать

2 ответов

Похожие вопросы