с прода на тест? Через INSERT INTO и remote это занимает слишком много времени
https://clickhouse.com/docs/en/sql-reference/statements/alter/partition#fetch-partitionpart
сколько данных? какая сеть между продом и тестом?
Кол-во данных: 1 400 000 00 Что имеете ввиду под сетью?
140 000 000 вы хотели сказать? 140 миллионов строк или полтора миллиарда?
140 млн, не так разделил
под сетью имею ввиду сеть передачи данных пропускная способность сети между dev и prod какая?
Вот тут я без понятия)
полтора миллиарда, ошибся
размер данных в сжатом виде какой? SELECT formatReadableSize(sum(bytes_on_disk)) FROM system.parts WHERE database=? AND table=? AND partition_id=?
где прод расположен? в облаках? или на железках? dev в том же датацентре или нет? это лучше выяснить перед тем как вообще искать альтернативы
На отдельном серваке, в одном дата центре, dev и prod на разных серваках
какой датацентр? РФ или зарубежный?
selectel скорее всего, возможность пропускной способности выяснить нет(
Не datagrip, но от JetBrains, если вы имеете ввиду доступ к серверу через clickhouse-client, то есть, если через ssh, то доступа нет
В datagrip поставьте socket_timeout больше чем 30 секунд
админов уволили чтоли? в селектеле на худой конец в тех поддержке спросить можно... ну просто полтора милларда записей это не пакет семечек... какой то объем все равно занимает... и мгновенно по сети не передается
Нам не мгновенно нужно, а только по запросу, думал это можно сделать на уровне CH
INSERT INTO remote() ... SELECT FROM ... Отлично это делает на уровне CH
проще всего через бэкап-рестор
В том то и проблема что он данные за 1 день, переносит 30-60 минут, хотелось чтобы партиция переносилась за часа 2-4
https://www.perplexity.ai/search/22b36df2-161c-4ca5-a9a3-31f4b877ae26?s=u если сеть 10 гигабит то быстро 20 - 30 секунд если 1 гигабит - то уже 4-7 минут на 100 Mbit - почти час...
выясняйте какая пропускная способность сети между серверами сначала... чтобы хотелось что-то обоснованнее
А каким способом предлагаете переносить? Единственное что знаю это INSERT INTO с помощью remote()
это нормальный и простой способ структура таблиц одинаковая? можно пробовать паралелить через INSERT INTO ... SELECT .. FROM remote() WHERE ...
Да, структура одинаковая
Обсуждают сегодня