переносит данные из Яндекс Appmetrica в бд какую либо ?
Есть пара вопросов
Мы переносим. Какой вопрос?
Вопрос чисто по концепции. Как это происходит реквестсом дергаёте допустим за какой то период , это всё дело в csv , и csv в бд ? У меня просто самая проблема это то что 10 минутный чанк данных весит порядка 500 мб , и я такое никогда не клал в БД. В контейнере лимит оперативки 200 мб и cpu тоже 200. А ещё прикол что 10 минутный чанк данных выгружается порядка 8 минут)
Кликхаус вроде для этой цели и был придуман
Мы выбрали упрощенную концепцию. В аппметрике есть фича - экспорт в кликхаус. В интерфейсе аппметрики указывается, какие данные в какую таблицу экспортировать и аппметрика сама несколько раз за сутки кусочками инсертит данные в БД. А из кликхауса уже обычным sql с помощью питона инкрементно забираем в dwh. Но у этого способа есть 3 недостатка: 1. Платить за облачный кликхаус 2.Не все данные можно забрать тиким образом 3. Расписание обновления данных нам неподвластно - каждый день аппметрика сама решает, когда экспортировать
Обсуждают сегодня