Битрикс для разработчиков
Чат экстремального погром...
Qt
symfony
Ansible
Unity Engine: вопрос - от...
Nuxt.js | Vue SSR
Боты на Telegraf
Data Science Chat
Android Architecture
QA — русскоговорящее сооб...
DBA - русскоговорящее соо...
Tarantool
Unreal Engine
☁️ AWS_RU
Blender_ru: вопрос-ответ.
MongoDB Russian
Yandex Cloud - Официальны...
Git
DevsHelper
Big Data Science :: AI / ...
pro.kafka
3ds Max
1C
Вокруг да около Zigbee
Android Declarative
freebsd_ru
Atlassian Community - Rus...
Чат про Fusion 360 и 3D
OctoberCMS
ru_gitlab
Godot Engine (Russian)
MySQL
Yii Framework 2
Data Engineers
Чат Tableau
Cinema 4D
Evolution CMS
Odoo talks & fun
Software Design/Architect...
pro.buildsystems
Webpack — русскоговорящее...
Yii Framework 3
QA juniors
RUSCADASEC community: Киб...
ru_hashicorp
Grafana Loki
VictoriaMetrics_ru
.NET Group
Google Cloud Platform_ru
DevSecOps - русскоговорящ...
![Netbeans [RU]](https://image.telq.org/channel_avatar_1102508152_467588515831589735_mini.jpeg){kind=avatar}
Netbeans [RU]
Всем привет , а подскажите пожалусто как быть. Есть один
сервис (яндекс апметрика) , из которого я могу получать по api данные.
5 минутный чанк данных весит 300 мб.
Мне эту всю красоту надо положить в кликхаус.
Пробовал через requests + post.
Но джоба упала по OOM , больше лимитов никто не даст.
Может есть какой то хитрый способ записать такой огромный файл без какого то огромного кол-ва ресурсов ? Мб у requests есть возможность читать файлик батчами без выгрузки файла в оперативку.
Снизить чанк данных - нет , юзать что то кроме питона - тоже нет (((
1 ответов
Вот такой подход попробуйте: https://stackoverflow.com/questions/60343944/how-does-requests-stream-true-option-streams-data-one-block-at-a-time
Похожие вопросы
Обсуждают сегодня