в день из двух разных источников создаются две временные таблицы (данных мало, за последний день), далее эти две таблицы джойнятся и результат инзертиться в большую mergeTree, где лежат данные за все время. После этого таблицы очищаются.
Вопроса 2:
- какой движок выбрать для временных таблиц ( TinyLog? )
- если поставить такой процесс на крон, то как мне быть уверенным, что результат джойна успеет залиться в mergeTree, прежде чем я удалю эти таблцы
вообще непонятно в чем затруднение. Создаете обычные mergetree таблицы, в имя добавляете дату. Когда результат влит в основную, эти две временнные дропаете в том же скрипте. Заливающий скрипт проверяет, если таблиц с такой датой нет, то создает.
Обсуждают сегодня