Здравствуйте, нужен ваш совет, у нас есть довольно объемная greenplum

Question

Здравствуйте, нужен ваш совет, у нас есть довольно объемная greenplum

таблица, хотелось бы данные из неё перелить в clickhouse , но insert select падает на лимите по памяти, буду благодарен если подскажите способ подобного перелива?

#backend #clickhouse #database #devops #programming #russian

0

14.01.2022

22 ответов

39 просмотров

Vladimir Sokolov Автор вопроса

Dmitry [Altinity] Titov
Переливайте по партициями. или дробите еще меньше

Ага думал об этом варианте, но думал есть что-то удачней, спасибо

0

14.01.2022

Dmitry [Altinity] Titov

Vladimir Sokolov
Ага думал об этом варианте, но думал есть что-то у...

Падает у вас скорее всего где то в гринпламе (кх не использует много памяти для вставки) Если гринплам умеет в stream данных в пайп можно вообще попробоватЬ gp_program —query "SELECT * FROM table" | clickhouse-client "INSERT INTO xxxx FORMAT TSV"

0

14.01.2022

Vladimir Sokolov Автор вопроса

Dmitry [Altinity] Titov
Падает у вас скорее всего где то в гринпламе (кх н...

Не именно clickhouse падает,

0

14.01.2022

Dmitry [Altinity] Titov

Vladimir Sokolov

Не именно clickhouse падает,

используете postgresql функцию?

0

14.01.2022

Vladimir Sokolov Автор вопроса

Dmitry [Altinity] Titov
используете postgresql функцию?

Я использовал внешнюю таблицу постгреса и вставлял данные в таблицу clickhouse

0

14.01.2022

Dmitry [Altinity] Titov

Vladimir Sokolov
Я использовал внешнюю таблицу постгреса и вставлял...

Я бы попробовал через пайп если честно, у меня есть некоторые сомнения в производительности postgresql функций.

0

14.01.2022

Vladimir Sokolov Автор вопроса

Dmitry [Altinity] Titov
Я бы попробовал через пайп если честно, у меня ест...

Ок, спасибо, попробуем увеличить ресурсы

0

14.01.2022

Dmitry [Altinity] Titov

Vladimir Sokolov
Ок, спасибо, попробуем увеличить ресурсы

https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/remote-table-function/#q-can-i-tune-insert-speed-to-make-it-faster Можете конечно попробовать покрутить эти настройки, но у вас памяти совсем не много и так. │ max_insert_block_size │ 1048545 │ 0 │ The maximum block size for insertion, if we control the creation of blocks for insertion.

0

14.01.2022

Vladimir Sokolov Автор вопроса

Dmitry [Altinity] Titov
https://kb.altinity.com/altinity-kb-setup-and-main...

У нас 1 гб лимит на один запрос, так мы под тесты выделяли 10 ГБ, так что увеличим лимит на запрос

0

14.01.2022

Константин

Vladimir Sokolov
У нас 1 гб лимит на один запрос, так мы под тесты ...

Может вам не нужен кликхаус если вы 10гб под тесты выделили ...

0

14.01.2022

Константин

Vladimir Sokolov
У нас 1 гб лимит на один запрос, так мы под тесты ...

Сделайте больше оперативной памяти и установить на GROUP BY ограничение, чтобы запросы не падали по памяти max_bytes_before_external_group_by

0

14.01.2022

Vladimir Sokolov Автор вопроса

Константин
Может вам не нужен кликхаус если вы 10гб под тесты...

Спасибо за конструктивное замечание, а сколько вы бы рекомендовали выделить памяти на боевой clickhouse? Я просто новичок в этом деле

0

14.01.2022

Константин

Vladimir Sokolov
Спасибо за конструктивное замечание, а сколько вы ...

Зависит от количество данных которые вы планируете использовать

0

14.01.2022

Vladimir Sokolov Автор вопроса

Константин
Зависит от количество данных которые вы планируете...

Ну хотя бы минимальное количество. Так будут хранится что-то вроде агрегатов в ch

0

14.01.2022

Константин

Vladimir Sokolov
Ну хотя бы минимальное количество. Так будут храни...

CH не для агрегатов, я не знаю

0

14.01.2022

Vladimir Sokolov Автор вопроса

Константин
CH не для агрегатов, я не знаю

А какие тогда варианты использования больше подходят для ch?

0

14.01.2022

Vladimir Sokolov Автор вопроса

Константин
CH не для агрегатов, я не знаю

И чем плох clickhouse для хранения агрегатов, я честно пока не вижу таких минусов, партицирование удобное, кол-во записей уже ограничено, то есть по сути должен он выбирать из агрегатов достаточно неплохо.

0

14.01.2022

Константин

Vladimir Sokolov
И чем плох clickhouse для хранения агрегатов, я че...

А что есть для агрегатов ? Есть агрегатные функции, но если ты будешь считать uniqExact (точные вычисления) они будут по времени как на данных почти .... Кликхаус это про быстро положить и быстро достать ОЧЕНЬ МНОГО ДАННЫХ

0

14.01.2022

Vladimir Sokolov Автор вопроса

Константин
А что есть для агрегатов ? Есть агрегатные функции...

Нет, там будут строчки по разным группировкам значения разных метрик за день, ну если грубо посчитать несколько тысяч строчек за день, уже сосчитанных другой системой и записанных в clickhouse, будет там несколько метрик hll - это самое трудное их возможно за некий период придется мержить

0

14.01.2022

Константин

Vladimir Sokolov
Нет, там будут строчки по разным группировкам знач...

Если у вас grenplum почему не использовать для этого PG ?

0

14.01.2022

Vladimir Sokolov Автор вопроса

Константин
Если у вас grenplum почему не использовать для это...

Мы пока тестируем гипотезу что выборка из clickhouse агрегатов будет быстрее

0

14.01.2022