184 похожих чатов

Подскажите как в кликхаус вставить 100GB данных из файла log.csv?

Пытался через cat dataset.csv | clickhouse-client --query="INSERT INTO dataset FORMAT CSV"
Процесс выдает Killed после вставки примерно 30% данных

9 ответов

11 просмотров

Первое, что в голову пришло, на 4 файла порезать и по очереди вставлять

Ada-Min Автор вопроса
Danil
Первое, что в голову пришло, на 4 файла порезать и...

да, но думал есть ещё какие-то варианты. И мне скорее интересно разобраться в причинах такого поведения.

в с3 залить и потом insert into select from s3()

Ada Min
да, но думал есть ещё какие-то варианты. И мне ско...

cat dataset.csv | clickhouse-client --query="INSERT INTO dataset FORMAT CSV" --max_insert_block_size=10000

Matvey
в с3 залить и потом insert into select from s3()

Добавлю, s3Cluster использовать не стоит - он жрет память, хотя и быстрее

Ada-Min Автор вопроса
Danil
cat dataset.csv | clickhouse-client --query="INSER...

к сожалению также killed.

--max_execution_time=секунд

Ada-Min Автор вопроса
Чилийский Бизон
--max_execution_time=секунд

не помогает. скорее с памятью как-то связанно

Похожие вопросы

Обсуждают сегодня

А чем вам питонисты не угодили?😂
.
79
Язык Си можно выучить за день? По книжке ANSI C на 230 страниц
Vincent Vegan
29
Привет, запускаю werf в dind в k8s, получаю ошибку на этапе build/beforeSetup: /.werf/stapel/embedded/bin/bash: /.werf/scripts/5898bdfe5214357d3706b879cc8d3d78460fb379607cbd...
florius0
7
Dim Dim, [02.07.2024 11:07] DB 0x62 Dim Dim, [02.07.2024 11:07] DB 0x66 Dim Dim, [02.07.2024 11:07] кто пояснит что это?
Dim Dim
14
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
Кстати, я тут еще с одной темой столкнулся, вот учу я C++, на таком то ресурсе, а остальные постоянно советуют практиковаться, что то писать, проекты, но как писать если вот т...
aaswq1
7
Подскажите, можно ведь комбинировать запись данных в один и тот же Stream через TFileStream и через TCompressionStream поочерёдно? Ну т.е. часть данных мне нужно сжать, часть ...
notme
4
Ещё такой вопрос. Мне необходимо хранить пароль пользователя локально. Для этого планирую использовать ini файл. Это для автозаполнения полей логин и пароль при авторизации. Е...
Евгений
19
Кстати на работу никто не хочет, слегка на Сшке подписывать? От 170к в месяц, под Москвой
Andrey Ermakov
6
Карта сайта