Всем привет! Загружаем данные из MinIO в Clickhouse кластер (6

Question

Всем привет! Загружаем данные из MinIO в Clickhouse кластер (6

шардов, 2 реплики. Каждая нода по 16 ядер и 128Gb RAM). В операции INSERT Пробуем использовать движок S3 с указанием SETTINGS distributed_ddl_task_timeout=0, insert_deduplicate=0, max_threads = 16, max_insert_threads=16 и видим что данные загружаются со скростью 1.5 million rows/s. Затем исходя из рекомендаций по оптимизации загрузки, настраиваем на каждой ноде max_threads = 16, max_insert_threads=16 и пробуем загружать через S3Cluster и получаем примерно такую же скорость или даже чуть меньше. Что мы делаем не так и как добиться прироста скорость загрузки данных через S3Cluster?

#backend #clickhouse #database #devops #programming #russian

0

25.08.2023