184 похожих чатов

Всем привет, может кто-то подсказать как можно перенести 1 партицию

с прода на тест? Через INSERT INTO и remote это занимает слишком много времени

28 ответов

12 просмотров

https://clickhouse.com/docs/en/sql-reference/statements/alter/partition#fetch-partitionpart

сколько данных? какая сеть между продом и тестом?

为什么要翻译-. Автор вопроса
Slach [altinity]
сколько данных? какая сеть между продом и тестом?

Кол-во данных: 1 400 000 00 Что имеете ввиду под сетью?

为什么要翻译 .
Кол-во данных: 1 400 000 00 Что имеете ввиду под ...

140 000 000 вы хотели сказать? 140 миллионов строк или полтора миллиарда?

为什么要翻译-. Автор вопроса
为什么要翻译 .
Кол-во данных: 1 400 000 00 Что имеете ввиду под ...

под сетью имею ввиду сеть передачи данных пропускная способность сети между dev и prod какая?

为什么要翻译-. Автор вопроса
为什么要翻译-. Автор вопроса
为什么要翻译 .
140 млн, не так разделил

полтора миллиарда, ошибся

为什么要翻译 .
140 млн, не так разделил

размер данных в сжатом виде какой? SELECT formatReadableSize(sum(bytes_on_disk)) FROM system.parts WHERE database=? AND table=? AND partition_id=?

为什么要翻译 .
Вот тут я без понятия)

где прод расположен? в облаках? или на железках? dev в том же датацентре или нет? это лучше выяснить перед тем как вообще искать альтернативы

为什么要翻译-. Автор вопроса
Slach [altinity]
где прод расположен? в облаках? или на железках? d...

На отдельном серваке, в одном дата центре, dev и prod на разных серваках

为什么要翻译-. Автор вопроса

selectel скорее всего, возможность пропускной способности выяснить нет(

为什么要翻译-. Автор вопроса

Не datagrip, но от JetBrains, если вы имеете ввиду доступ к серверу через clickhouse-client, то есть, если через ssh, то доступа нет

为什么要翻译 .
Не datagrip, но от JetBrains, если вы имеете ввиду...

В datagrip поставьте socket_timeout больше чем 30 секунд

为什么要翻译 .
selectel скорее всего, возможность пропускной спос...

админов уволили чтоли? в селектеле на худой конец в тех поддержке спросить можно... ну просто полтора милларда записей это не пакет семечек... какой то объем все равно занимает... и мгновенно по сети не передается

为什么要翻译-. Автор вопроса
Slach [altinity]
админов уволили чтоли? в селектеле на худой конец ...

Нам не мгновенно нужно, а только по запросу, думал это можно сделать на уровне CH

为什么要翻译 .
Нам не мгновенно нужно, а только по запросу, думал...

INSERT INTO remote() ... SELECT FROM ... Отлично это делает на уровне CH

проще всего через бэкап-рестор

为什么要翻译-. Автор вопроса
Slach [altinity]
INSERT INTO remote() ... SELECT FROM ... Отлично э...

В том то и проблема что он данные за 1 день, переносит 30-60 минут, хотелось чтобы партиция переносилась за часа 2-4

为什么要翻译 .
24.82 GiB

https://www.perplexity.ai/search/22b36df2-161c-4ca5-a9a3-31f4b877ae26?s=u если сеть 10 гигабит то быстро 20 - 30 секунд если 1 гигабит - то уже 4-7 минут на 100 Mbit - почти час...

为什么要翻译 .
В том то и проблема что он данные за 1 день, перен...

выясняйте какая пропускная способность сети между серверами сначала... чтобы хотелось что-то обоснованнее

为什么要翻译-. Автор вопроса
Slach [altinity]
https://www.perplexity.ai/search/22b36df2-161c-4ca...

А каким способом предлагаете переносить? Единственное что знаю это INSERT INTO с помощью remote()

为什么要翻译 .
А каким способом предлагаете переносить? Единствен...

это нормальный и простой способ структура таблиц одинаковая? можно пробовать паралелить через INSERT INTO ... SELECT .. FROM remote() WHERE ...

为什么要翻译-. Автор вопроса

Похожие вопросы

Обсуждают сегодня

Всем привет, на линуксе лучше на fasm или nasm учиться писать для начала ?
meszjol
14
Если у меня есть такой класс: Object = {} function Object:new(a_name, a_transform, a_color, a_mesh, a_material, a_shader, a_textures) local private = {} private.n...
Cuarno Vile
4
было так ;void set_http_ver(RESPD* ptr, char* version, uint32_t length) // example: 'RTSP/1.1 ' set_http_ver: mov eax, [esp + 4] mov ecx, [esp + 8] ...
Mixail Frolov
5
я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
зачем же переименовывать ? чтобы кол-во участников возросло или вдруг IBM от этого снова на свифте начнет кодить ? Я не понимаю что страшного в том что свифт гавно, если это т...
Oleh Nerzh
10
А еще в перле можно уже @arr1 + @arr2?
Sergei Zhmylove
53
@MrMiscipitlick А можешь макрос написать, который будет вычислять смещение относительно переданных меток? Просто .label1-.label2, и вернуть значение.
КТ315
35
Evo 1.4.34 PHP 7.4 Все работало штатно. На ровном месте SimpleGallery начал выдавать ошибку Что может быть? Уже все переустановил по новой. Места хватает. Хостинг reg.ru
Paul Savchenkov
6
здравствуйте. совершаю вот такую вещь: strcpy(line, (char)current_number); где current number — неподписанный шорт, line — массив чаров. ругань следующая: main.c:29:30: error...
Roberto's Ширгозиев
13
юзеры Jetpack Compose тут?
Qtless Qtless
8
Карта сайта