184 похожих чатов

Как оценить расходы на хранение при миграции данных из хадупа

в КХ? У меня где-то 300ТБ данных в хадупе, в будущем может вырасти в 5 раз. Сколько понадобится места для КХ, с учётом отказоустойчивой конфигурации?

5 ответов

10 просмотров

Взять некий кусочее данных(допустим месяц) и положить в кх, попробовать разные ORDER BY и кодеки для сжатия

в hdfs ? а там непожатые csv или паркет? Потому что разница в 100 раз может получиться

K S
Там смесь csv, parquet

а 300TB данных с RF3 или 300TB общий размер диска всех нод? т.е. возможно что понадобится 600TB диска в КХ, проще всего протестить как выше советуют

K-S Автор вопроса
Denny [Altinity]
а 300TB данных с RF3 или 300TB общий размер диска ...

300TB общий диск. Попробую как посоветовали выше, просто было интересно узнать приблизительную оценку. Вы сказали что может получиться 1: 0.01 если использовать сжатие, это существенно экономит расходы на дисковое пространство.

Похожие вопросы

Обсуждают сегодня

А чем вам питонисты не угодили?😂
.
79
Язык Си можно выучить за день? По книжке ANSI C на 230 страниц
Vincent Vegan
29
Привет, запускаю werf в dind в k8s, получаю ошибку на этапе build/beforeSetup: /.werf/stapel/embedded/bin/bash: /.werf/scripts/5898bdfe5214357d3706b879cc8d3d78460fb379607cbd...
florius0
7
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Dim Dim, [02.07.2024 11:07] DB 0x62 Dim Dim, [02.07.2024 11:07] DB 0x66 Dim Dim, [02.07.2024 11:07] кто пояснит что это?
Dim Dim
14
Ошибка: segmentation fault (core dumped) Код: pastebin.com/BEsNNSSV Сообщение от компилятора: отсутствует ОС: Arch Linux Ядро: x86_64 Linux 6.9.7-arch1-1 Процессор: Intel Cele...
sec
4
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
Ещё такой вопрос. Мне необходимо хранить пароль пользователя локально. Для этого планирую использовать ini файл. Это для автозаполнения полей логин и пароль при авторизации. Е...
Евгений
19
Кстати, я тут еще с одной темой столкнулся, вот учу я C++, на таком то ресурсе, а остальные постоянно советуют практиковаться, что то писать, проекты, но как писать если вот т...
aaswq1
7
Добрый день, чат. Мне в очередь из других RabbitMQ по shovel валятся метрики в формате текста для Prometheus. Помогите пожалуйста подружить RabbitMQ и Prometheus, чтобы он (...
Aleksey
4
Карта сайта