Добрый день, товарищи. Честно говоря, не знаю куда писать:

Question

Добрый день, товарищи. Честно говоря, не знаю куда писать:

сюда или сразу на гитхаб.
Windows 10, WSL2, выделено 25 Гб RAM, SSD, AMD Ryzen 9 5900X.

Короче, я читаю паркет файлы в таблицу (файлы на SSD)

create table s3_engine_table engine = Log as
select *
from file('*.snappy.parquet', 'Parquet',
'FIEDL1 Int8,
FIELD2 String,
.......................
')
Количество записей в таблице = 1_069_802_327

И вот такое вот вижу в конце.
Elapsed: 1332.354 sec. Processed 1.07 billion rows, 358.32 GB (802.94 thousand rows/s., 268.94 MB/s.)

Давно подозревал, что скорость какая-то невысокая. Причем, было подозрение, что несколько версий кликхауса назад - это было быстрее. Но, не смог подтвердить это. Подумал, что 270 МБ/с - это, в принципе, нормально, и я зажрался.
Сегодня потребовалось загрузить снова эти же файлы, но с фильтром, который отбрасывает ООООООЧЕНЬ мало данных ( < 0.1%)

create table s3_engine_table engine = Log as
select *
from file('*.snappy.parquet', 'Parquet',
'FIELD1 Int8,
FIELD2 String,
.......................
')
WHERE FIELD1 > 0
Количество записей в таблице = 1_065_699_351

И, о чудо,
Elapsed: 450.282 sec. Processed 1.07 billion rows, 358.32 GB (2.38 million rows/s., 795.77 MB/s.)
В 3 раза быстрее!!!!

Что? Почему??

При этом, в первом случае, занято всего одно ядро. Во-втором - много. Неужели, надо искусственно добавлять какое-то условие, чтобы включились векторные оптимизации???

#backend #clickhouse #database #devops #programming #russian

0

14.02.2022

3 ответов

23 просмотра

dnl tln

получилось выяснить в чем была проблема?

0

05.04.2022

Ilya Fiks Автор вопроса

dnl tln
получилось выяснить в чем была проблема?

Нет, вроде как само исчезло

0

05.04.2022

Константин · Accepted Answer

Константин

Интересно, но скорей всего логическое объяснение есть какое то, но могу сказать при переносе данных из одного кликхауса через функцию remote получал примерно теже цифры, что и вы в первом примере

0

14.02.2022

184 похожих чатов

Добрый день, товарищи. Честно говоря, не знаю куда писать:

3 ответов

Похожие вопросы