Битрикс для разработчиков
Чат экстремального погром...
Qt
symfony
Ansible
Unity Engine: вопрос - от...
Nuxt.js | Vue SSR
Боты на Telegraf
Data Science Chat
Android Architecture
QA — русскоговорящее сооб...
DBA - русскоговорящее соо...
Tarantool
Unreal Engine
☁️ AWS_RU
Blender_ru: вопрос-ответ.
MongoDB Russian
Yandex Cloud - Официальны...
Git
DevsHelper
Big Data Science :: AI / ...
pro.kafka
3ds Max
1C
Вокруг да около Zigbee
Android Declarative
freebsd_ru
Atlassian Community - Rus...
Чат про Fusion 360 и 3D
OctoberCMS
ru_gitlab
Godot Engine (Russian)
MySQL
Yii Framework 2
Data Engineers
Чат Tableau
Cinema 4D
Evolution CMS
Odoo talks & fun
Software Design/Architect...
pro.buildsystems
Webpack — русскоговорящее...
Yii Framework 3
QA juniors
RUSCADASEC community: Киб...
ru_hashicorp
Grafana Loki
VictoriaMetrics_ru
.NET Group
Google Cloud Platform_ru
DevSecOps - русскоговорящ...
![Netbeans [RU]](https://image.telq.org/channel_avatar_1102508152_467588515831589735_mini.jpeg){kind=avatar}
Netbeans [RU]
Всем привет , а есть тут кто нибудь , кто
переносит данные из Яндекс Appmetrica в бд какую либо ?
Есть пара вопросов
4 ответов
Мы переносим. Какой вопрос?
Алексей
Осипов
Автор вопроса
Мы переносим. Какой вопрос?
Вопрос чисто по концепции. Как это происходит реквестсом дергаёте допустим за какой то период , это всё дело в csv , и csv в бд ? У меня просто самая проблема это то что 10 минутный чанк данных весит порядка 500 мб , и я такое никогда не клал в БД. В контейнере лимит оперативки 200 мб и cpu тоже 200. А ещё прикол что 10 минутный чанк данных выгружается порядка 8 минут)
Вопрос чисто по концепции. Как это происходит ре...
Кликхаус вроде для этой цели и был придуман
Вопрос чисто по концепции. Как это происходит ре...
Мы выбрали упрощенную концепцию. В аппметрике есть фича - экспорт в кликхаус. В интерфейсе аппметрики указывается, какие данные в какую таблицу экспортировать и аппметрика сама несколько раз за сутки кусочками инсертит данные в БД. А из кликхауса уже обычным sql с помощью питона инкрементно забираем в dwh. Но у этого способа есть 3 недостатка: 1. Платить за облачный кликхаус 2.Не все данные можно забрать тиким образом 3. Расписание обновления данных нам неподвластно - каждый день аппметрика сама решает, когда экспортировать
Похожие вопросы
Обсуждают сегодня