184 похожих чатов

Какой самый быстрый способ перегонять ежесуточно данные (данных много) с

разных серверов ch?
1. select from remote sql
2. clickhouse-driver python
3. clickhouse-copier
4. clickhouse to file -> file to server -> file to clickhouse

может что-то еще, или что самое быстрое из перечисленного?

3 ответов

12 просмотров

собрать данные с нескольких независимых серверов на один? Я бы для такой задачи попробовал MV to Distributed. И не раз в сутки, а непрерывно. Если же надо именно раз в сутки, и данных НУ ОЧЕНЬ МНОГО, а так-же есть желание попрограммировать в стиле п.4, то можно копировать парты по scp, а затем аттачить их к общей табличке. Это будет наиболее эффективно, т.к. не будет постоянного рекомпреса данных, и по сети будут ходить только компрессованные.

SELECT * FROM remote(..) WHERE вполне быстро и чтобы сжатие было включено в протоколе еще

Kuzma-Leshakov Автор вопроса

1 vs 2 чанками - 300minutes vs 2 minutes

Похожие вопросы

Обсуждают сегодня

Ещё такой вопрос. Мне необходимо хранить пароль пользователя локально. Для этого планирую использовать ini файл. Это для автозаполнения полей логин и пароль при авторизации. Е...
Евгений
19
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Hi guys, I'm looking for a good LLM course. Is there any course to learn LLMs in advanced? I'm aiming to use them in my apps, so a perfect course in my openion, is not only a ...
Taha
14
А как лучше конвертировать физический адрес в виртуальный при маппинге? В случае ядра у меня, например, direct mapping, первые 768МБ я как есть мапплю в higher half, а остальн...
Evg Resh
26
База данных не поможет. Шифрование не поможет. Какие там ещё варианты? Накидывайте.
КТ315
20
А табстоп это сообщение от окна или от элемента управления?
The Bird of Hermes
18
Всем привет. Подскажите, пожалуйста, как вы реализовываете следующий функционал. Допустим есть форма, в которой имеется выпадающий список со значениями. Значения хранятся в БД...
Евгений
7
Хех, данные на форме всегда будут "из прошлого", т.к. перезаполнять поля формы в процессе редактирования пользователем - так себе идея. Пользователь может открыть форму редакт...
Alexander Somov
7
$params = [ 'formid' => 'feedbackForm', 'formTpl' => '@CODE: <form class="form-validate" data-id="ajax_form"> <fieldset class="margin-bottom-md"> ...
Pathologic
1
Хотел бы спросить у знающих, правильную ли я выбрал книгу для начала изучения ассемблера Юрова В.И ? Или есть более лучшие книги для начала обучения?
Botsman
31
Карта сайта