Всем привет, несколько вопросов по Clickhouse Мы на старте при переезде

Question

Всем привет, несколько вопросов по Clickhouse Мы на старте при переезде

в Clickhouse сильно спешили, поэтому взяли то что буквально описано первым в документации Яндекс.Облака и стали использовать Protobuff для сериализации данных + управления схемами. Но сейчас количество источников разрослось и изменения стало безумно тяжело делать (в т.ч. потому что clickhouse схемы кэширует, о чём мы узнали за несколько дней до сдачи проекта).
По ощущениям Protobuff нам в итоге дал только более простую обработку вложенных структур данных, но взамен сильно повысил сложность внесения изменений в систему

В связи с этим вопросы:
Как вы обычно инсёртите данные в кликхаус?
Какие могут быть аргументы ЗА продолжение использования протобаффа?
Какие подводные камни могут быть если мы в принципе откажемся от использования схем proto и аналогов и будем просто отправлять данные в json или csv через CLI? Не уменьшит ли отправление несериализованных данных производительность кластера?

#backend #clickhouse #database #devops #programming #russian

0

04.08.2022

2 ответов

28 просмотров

Андрей Чевозёров Автор вопроса

Slach [altinity]
TSV парсер довольно быстрый (быстрее только Native...

Благодарю за ответ, полезно

0

04.08.2022

Slach [altinity] · Accepted Answer

TSV парсер довольно быстрый (быстрее только Native но его на стороне клиента фактически придется генерить), json и т.п. только если реально данные сложные и вы их не контроллируете как workaround если грузить через pipe в CLI clickhouse-client то format_schema это relative путь и берется с клиента, так что можно валидацию на клиенте делать и кешировать не будет

184 похожих чатов

Всем привет, несколько вопросов по Clickhouse Мы на старте при переезде

2 ответов

Похожие вопросы