184 похожих чатов

React — русскоговорящее с... React — русскоговорящее с...
Android Developers Android Developers
Python Python
Vue.js — русскоговорящее ... Vue.js — русскоговорящее ...
supapro.cxx supapro.cxx
DotNetRuChat DotNetRuChat
GNU/Linux Help GNU/Linux Help
Telegram Developers Telegram Developers
Node.js — русскоговорящее... Node.js — русскоговорящее...
DevOps — русскоговорящее ... DevOps — русскоговорящее ...
JavaScript Noobs — сообще... JavaScript Noobs — сообще...
Django [ru] Django [ru]
Go-go! Go-go!
Angular - русскоговорящее... Angular - русскоговорящее...
ntwrk ntwrk
Верстка сайтов HTML/CSS/J... Верстка сайтов HTML/CSS/J...
phpGeeks phpGeeks
Kubernetes — русскоговоря... Kubernetes — русскоговоря...
Битрикс для разработчиков Битрикс для разработчиков
MODX. Русскоязычное сообщ... MODX. Русскоязычное сообщ...
pgsql – PostgreSQL pgsql – PostgreSQL
Laravel Pro Laravel Pro
iOS Developers — русского... iOS Developers — русского...
ClickHouse не тормозит ClickHouse не тормозит
Rust — русскоговорящее со... Rust — русскоговорящее со...
JavaScript — русскоговоря... JavaScript — русскоговоря...
С# С#
pro.cxx pro.cxx
pro.jvm pro.jvm
React Native — русскогово... React Native — русскогово...
Devs Chat Devs Chat
Docker — русскоговорящее ... Docker — русскоговорящее ...
HTML/CSS — русскоговоряще... HTML/CSS — русскоговоряще...
Python beginners Python beginners
🐧 RU.UBUNTU — Официальное... 🐧 RU.UBUNTU — Официальное...
Kotlin Community Kotlin Community
Embedded Group Embedded Group
Чат экстремального погром... Чат экстремального погром...
aiogram aiogram
Scala User Group Scala User Group
Haskell Haskell
PHP PHP
TypeScript TypeScript
Клуб Vue.js-разработчиков Клуб Vue.js-разработчиков
Xamarin Developers (MAUI,... Xamarin Developers (MAUI,...
F# Chat F# Chat
Svelte [svelt] - All abou... Svelte [svelt] - All abou...
Системное администрирован... Системное администрирован...
Nuxt.js | Vue SSR Nuxt.js | Vue SSR
nginx_ru nginx_ru
var chat = new Chat(); var chat = new Chat();
Data Science Chat Data Science Chat
Ассемблер Ассемблер
Android Architecture Android Architecture
Laravel для начинающих Laravel для начинающих
Церковь метрик Церковь метрик
Dart & Flutter Dart & Flutter
QA — русскоговорящее сооб... QA — русскоговорящее сооб...
DBA - русскоговорящее соо... DBA - русскоговорящее соо...
Tarantool Tarantool
☁️ AWS_RU ☁️ AWS_RU
pro.elixir pro.elixir
Python Flask Python Flask
PostgreSQL + 1C + Linux PostgreSQL + 1C + Linux
SAP ABAP SAP ABAP
R (язык программирования) R (язык программирования)
MongoDB Russian MongoDB Russian
Yandex Cloud - Официальны... Yandex Cloud - Официальны...
learn.java learn.java
DevsHelper DevsHelper
Big Data Science :: AI / ... Big Data Science :: AI / ...
Delphi & Lazarus Delphi & Lazarus
SwiftBook SwiftBook
Solidity Development Solidity Development
Evolution CMS официальное... Evolution CMS официальное...
pro.net (former COM+) pro.net (former COM+)
OpenStreetMap RU OpenStreetMap RU
Visual Studio Code — русс... Visual Studio Code — русс...
ru_mysql ru_mysql
pro.lua pro.lua
Dart / Flutter Dart / Flutter
GraphQL — русскоговорящее... GraphQL — русскоговорящее...
pro.Asm pro.Asm
IDE и редакторы — русског... IDE и редакторы — русског...
OpenCartForum - 🇺🇦🇪🇺Чат O... OpenCartForum - 🇺🇦🇪🇺Чат O...
Angular.js (1.x) — русско... Angular.js (1.x) — русско...
Frontend_ru Frontend_ru
Lame C Lame C
Flutter Developers — русс... Flutter Developers — русс...
AutoIT RU AutoIT RU
AI / Искусственный Интелл... AI / Искусственный Интелл...
dlang.ru dlang.ru
Laravel Framework Russian... Laravel Framework Russian...
WebPwnChat WebPwnChat
Чат — Верстка Сайтов и Фр... Чат — Верстка Сайтов и Фр...
pro.python pro.python
Java Underground Java Underground
Natural Language Processi... Natural Language Processi...
javascript_ru javascript_ru
SqlCom.ru - сообщество MS... SqlCom.ru - сообщество MS...
Cinema 4D Cinema 4D
Delphi Community Delphi Community
pro.vim pro.vim
Server Side Swift Develop... Server Side Swift Develop...
Autohotkey_RU ( v1 & v2 ) Autohotkey_RU ( v1 & v2 )
PHP DevConf KZ🇰🇿 PHP DevConf KZ🇰🇿
Modern::Perl Modern::Perl
pro.rb (Ruby/Rails / RU) pro.rb (Ruby/Rails / RU)
RubyRush.ru RubyRush.ru
Oracle RU Oracle RU
ru.nim.talks ru.nim.talks
DevOps DevOps
Odoo talks & fun Odoo talks & fun
Software Design/Architect... Software Design/Architect...
sql_ninja sql_ninja
werf (чат) werf (чат)
AndroidDev Pro:: Професси... AndroidDev Pro:: Професси...
WordPress for developers WordPress for developers
dbGeeks dbGeeks
PowerShellRus - о Powersh... PowerShellRus - о Powersh...
Haskell Start Haskell Start
Эльбрусы и с чем их едят Эльбрусы и с чем их едят
Java/Kotlin and more Java/Kotlin and more
pro.buildsystems pro.buildsystems
React: русскоязычное сооб... React: русскоязычное сооб...
Powershell Rus Powershell Rus
ErlangRus ErlangRus
Python для анализа данных Python для анализа данных
Скрипты Гугл, Таблицы, Go... Скрипты Гугл, Таблицы, Go...
opencv_ru opencv_ru
WebGL ru WebGL ru
Compiler Development Compiler Development
firebase_ru — русскоговор... firebase_ru — русскоговор...
Electron.js Electron.js
phpclub.ru phpclub.ru
RU.CRYPTOGRAPHY — Криптог... RU.CRYPTOGRAPHY — Криптог...
pro.osdev - os developmen... pro.osdev - os developmen...
MySQL MySQL
Это RabbitMQ Это RabbitMQ
Lame C++ Lame C++
QA juniors QA juniors
GameDev for Web GameDev for Web
Go Get A Job Go Get A Job
PostgreSQL (English) PostgreSQL (English)
Ember_js Ember_js
Tilda Developers Tilda Developers
RU.Docker — Официальное Р... RU.Docker — Официальное Р...
Emacs — русскоговорящее с... Emacs — русскоговорящее с...
catboost_ru catboost_ru
FreePascal & Lazarus FreePascal & Lazarus
Язык программирования Jul... Язык программирования Jul...
WordPress – русскоговорящ... WordPress – русскоговорящ...
Kaggle Kaggle
Django Django
sentry_ru sentry_ru
ReasonML и OCaml ReasonML и OCaml
WebAssembly — русскоговор... WebAssembly — русскоговор...
ansible — русскоговорящее... ansible — русскоговорящее...
Сrystal Lang — русскогово... Сrystal Lang — русскогово...
aiohttp aiohttp
Clojure — русскоговорящее... Clojure — русскоговорящее...
heroku_ru heroku_ru
PowerShell Pro PowerShell Pro
macOS Developers — русско... macOS Developers — русско...
systemd systemd
use Perl or die; use Perl or die;
FORTH и родственные ЯП FORTH и родственные ЯП
Natural Language Processi... Natural Language Processi...
ru_jenkins ru_jenkins
DevSecOps - русскоговорящ... DevSecOps - русскоговорящ...
CatBoost CatBoost
CyberBiology CyberBiology
Sequelize - community (en... Sequelize - community (en...
ScyllaDB ScyllaDB
sonarqube_ru sonarqube_ru
Elm Lang сообщество разра... Elm Lang сообщество разра...
SublimeText_RU SublimeText_RU
NativeScript NativeScript
WordPress CodeRun WordPress CodeRun
ReactiveX - русскоговорящ... ReactiveX - русскоговорящ...
PureScript — русскоговоря... PureScript — русскоговоря...
#Вайти #Вайти
Эликсир и Вунш Эликсир и Вунш
Cassandra Cassandra
ClickHouse не тормозит ClickHouse не тормозит
Vitaly-Ivanov

Друзья! Подскажите, в базе одна большая таблица, каждая партиция YYYYMM

занимает место 6TiB и содержит 30 миллиардов строк, очень неудобно их обслуживать, хочу переделать партиционирование на YYYYMMDD. Срок хранения данных 5 лет.
Могут ли возникнуть какие-либо проблемы с партициями YYYYMMDD при таких объемах данных?

#backend #clickhouse #database #devops #programming #russian
0

14 ответов

10 просмотров
Denny-[Altinity]

1 месяц 6tb? Это 360тб за пять лет. Это не очень удобно на одном сервере. Новая реплика будет недели наливаться если сломается сервант. 1500 партиций тоже не сахар. И местами очень больно. В алтинити я бы посоветовал клиенту минимум 20 шардов.

0
04.09.2021
【D】【J】-

у нас было много партиций, есть некоторые боли и надо быть очень осторожными, а то КХ стреляет всем чем можно по много-партиционным таблицам (время загрузки, ТТЛ, ДДЛ). если запросы/перезаливания только на свежих данных, можно делать гибридно (две таблицы, последний месяц дневная, дальше месячные) которые заалиасены под общей таблицей на Merge-Engine. а ещё можно лайкнуть это и в один прекрасный день это могут и сделать https://github.com/ClickHouse/ClickHouse/issues/16565

0
04.09.2021
Vitaly-Ivanov Автор вопроса
Denny [Altinity]
1 месяц 6tb? Это 360тб за пять лет. Это не очень у...

Я спрашивал только про 1 партицию YYYYMM на 6Tb для простоты, в реальности там уже есть шардирование на 4 сервера. Если Вы советуете перешардировать 1 партицию на 20 шардов, то с учетом того, что уже есть 4 шарда, получается надо перешардировать на 80 серверов. Я правильно понял, увеличивать кол-во шардов для того, чтобы использовать партиции YYYYMMDD?

0
04.09.2021
Vitaly-Ivanov Автор вопроса
【D】【J】
у нас было много партиций, есть некоторые боли и н...

Лайк поставил!) Интересная идея с Merge-Engine! А устаревающие данные из таблиц с партиционированием YYYYMMDD переливать в таблицы с YYYYMM, верно? Если верно, пробовали ли так делать? Возникли ли какие-нибудь трудности?

0
04.09.2021
Vitaly-Ivanov Автор вопроса
Denny [Altinity]
В смысле 24tb всего в месяц? Серьезно?

Да, а что смущает, много?

0
04.09.2021
Denny-[Altinity]
Vitaly Ivanov
Да, а что смущает, много?

Много. В реальности я с трудом представляю как такой объем засервать на 4х шардах. Или только писать и никогда не кверять. Тут нужен большой кластер если это кликстрим. Ну и обычно настолько сырые данные не нужны на такой период.

0
04.09.2021
Denny-[Altinity]
Vitaly Ivanov
Я спрашивал только про 1 партицию YYYYMM на 6Tb дл...

Советую вам сразу забыть про yymmdd. Или надо очень хорошо понимать что вы делаете.

0
04.09.2021
Vitaly-Ivanov Автор вопроса
Denny [Altinity]
Много. В реальности я с трудом представляю как так...

Да, все так, селектят их редко, обычно только последний месяц или последний год и стирать старые данные запрещают

0
04.09.2021
Vitaly-Ivanov Автор вопроса
Denny [Altinity]
Советую вам сразу забыть про yymmdd. Или надо очен...

Похоже мне придется воспользоваться вашим советом и не думать в сторону YYYYMMDD, - у меня не так много опыта с ClickHouse еще пока

0
04.09.2021
Denny-[Altinity]
Vitaly Ivanov
Похоже мне придется воспользоваться вашим советом ...

Можете в алтинити обратится. У нас есть бесплатный час консультаций. Мы за час все обсудим и возможно расскажем вам как сократить кол-во данных в разы без потери качества.

0
04.09.2021
【D】【J】-
Vitaly Ivanov
Лайк поставил!) Интересная идея с Merge-Engine! А ...

Можно, руками. Трудности с переливанием зависят от рук. В зависимости от объемов одного запроса, скорости дисков, процессоров, параллельности запросов объем шардов лучше выбирать. У нас есть условно системы с шардами по 4-5 ТБ, есть 20 шардов по 30тб. Но у нас нет заметного qps/запросов.

0
05.09.2021
Maxim-Izergin
Denny [Altinity]
Можете в алтинити обратится. У нас есть бесплатный...

А как именно обращаться? Я вот на сайте заполнил запрос, а мне назначили zoom-встречу с продажником из Австрии. На 45 мин. Я не в том месте запрос сделал?

0
06.09.2021

Похожие вопросы

ClickHouse не тормозит ClickHouse не тормозит / unhingedlunatic
Подписаться

Исходя из ваших комментариев, получается, что чтобы получить марты в CH из данных в PG, неправильно тянуть сырые данные в CH и там их обрабатывать, лепить справочники и джойни...

#backend #clickhouse #database #devops #programming #russian
12.11.2023
0
42 ответов
ClickHouse не тормозит ClickHouse не тормозит / Maria Besedina
Подписаться

Доброе утро, коллеги! Может вы что-то подскажите по следующей ситуации. Загружаем словари в витрины в CH по следующему алгоритму: - создали 2 таблицы с одинаковой структурой: ...

#backend #clickhouse #database #devops #programming #russian
27.10.2023
0
27 ответов
ClickHouse не тормозит ClickHouse не тормозит / 为什么要翻译 .
Подписаться

Всем привет, обновил clickhouse на локальном компьютере, теперь он не поднимается, валится с ошибкой: 2023.11.15 10:53:11.735595 [ 8069 ] {} <Error> Application: Code: 48. DB...

#backend #clickhouse #database #devops #programming #russian
15.11.2023
0
17 ответов
ClickHouse не тормозит ClickHouse не тормозит / Алексей Чернов
Подписаться

Всем привет. В настоящее время в Клике происходит рассинхрон данных между таблицей и её проекцией, из-за чего запрос может вернуть одну и ту же строку с разными данными в зави...

#backend #clickhouse #database #devops #programming #russian
05.09.2023
0
2 ответов
ClickHouse не тормозит ClickHouse не тормозит / Sergey Fedyanov
Подписаться

Добрый днь! Конфигурация: - k8s - ClickHouse Operator 0.12.0 provided by Altinity - ClickHouse server version 22.11.6 revision 54460. В манифесте: kind: "ClickHouseInstallati...

#backend #clickhouse #database #devops #programming #russian
06.09.2023
0
3 ответов
ClickHouse не тормозит ClickHouse не тормозит / Sergey Smirnov
Подписаться

SSIS выгрузка из Clickhouse данных типа string. Висит на стороне SSIS. Вижу с помощью Wireshark, что Clickhouse отдает все правильно. SSIS висит на обработке столбца типа DT_T...

#backend #clickhouse #database #devops #programming #russian
14.06.2023
0
45 ответов
ClickHouse не тормозит ClickHouse не тормозит / Clir
Подписаться

Добрый день. Много раз уже обсуждали проблему No active replica has part и зависшие парты в replication_queue. Всегда предлагаете решение detach+attach+system restart replica ...

#backend #clickhouse #database #devops #programming #russian
06.11.2023
0
28 ответов
ClickHouse не тормозит ClickHouse не тормозит / Igor Gorbenko
Подписаться

Всем привет! Столкнулись с такой проблемой, связанной с чтением данных из S3. Мы читаем данные из parquet файлов, используя табличный движок S3 и вставляем в целевую таблицу д...

#backend #clickhouse #database #devops #programming #russian
22.08.2023
0
1 ответов
ClickHouse не тормозит ClickHouse не тормозит / Асель Магжанова
Подписаться

Всем привет! помогите, пожалуйста, разобраться с проблемой: внеапно в логах появились ошибки вида: 0. DB::Exception::Exception(DB::Exception::MessageMasked&&, int, bool) @ 0xd...

#backend #clickhouse #database #devops #programming #russian
04.10.2023
0
7 ответов
ClickHouse не тормозит ClickHouse не тормозит / Stas Dombrovskyi
Подписаться

Всем привет. Кто-то использует вот такой бутстрап схем/таблиц в кликхаус в кубере? https://github.com/Altinity/clickhouse-operator/blob/master/docs/chi-examples/02-templates-0...

#backend #clickhouse #database #devops #programming #russian
03.11.2023
0
22 ответов
Смотреть еще
ClickHouse не тормозит ClickHouse не тормозит
Подписаться
Вопросов 34756
Ответов 72457
Участников 8768
Telegram @clickhouse_ru

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта