Всем привет, у меня есть файл с SQL инсёртом в

Question

Всем привет, у меня есть файл с SQL инсёртом в

несколько десятков миллионов записей (размером в 12GB) мне надо его загрузить в базу clickhouse.cloud. Может кто-то сможет подсказать как лучше это сделать через clickhouse-client? пробую делать через: cat events.sql | clickhouse-client --database db_name_here --password some_password_here --host some_host_here --secure и процесс падает жалуясь на broken pipe. А clickhouse-client --database db_name_here --password some_password_here --host some_host_here --secure --queries-file events.sql просто висит какое-то время и выходит без выполнения запроса.

#backend #clickhouse #database #devops #programming #russian

0

27.08.2023

9 ответов

23 просмотра

Slach [altinity]

--progress --receive_timeout 7200 добавьте broken pipe странно вообще, не должно быть по идее

0

27.08.2023

Andrey Автор вопроса

Slach [altinity]
--progress --receive_timeout 7200 добавьте broken...

к сожалению, не помогло —progress не дал никакого эффекта, но висело чуть дольше чем без —receive_timeout, в итогде получил zsh: killed clickhouse-client, похоже придётся разбивать на мелкие файлы и вставлять их по одному

0

27.08.2023

AVLitvinov

broken pipe в такой конфигурации означает что или cat или clickhouse-client неожиданно завершилась и соответственно закрыла анонимный пайп между ними который служит для перенаправления ввода вывода. Может cat в докере не может осилить этот файл (памяти в контейнере не хватает и т.д.), может в файле ошибка и clickhouse-client соответственно из-за этого отваливается.

0

27.08.2023

Andrey Автор вопроса

AVLitvinov
broken pipe в такой конфигурации означает что или ...

я не в докере, 64гб оперативки, cat > file работает корректно

0

27.08.2023

Slach [altinity]

64g там где clickhouse-client и cat запускаются или на сервере?

0

27.08.2023

Andrey Автор вопроса