Всем привет, мы обновили версию clickhouse-go на v2.0.0-beta, что совершенно

не означает, что она не production ready. Мы в kinescope.io уже перевели сервис сбора логов Nginx на новую версию и с сегодняшнего дня перестаем в разработке использовать V1.

Что поменялось в V2 относительно V1.

Поменялся DSN для настройки подключения, теперь он имеет привычный вид

clickhouse://username:password@host1:9000,host2:9000/database?params…

Плейсхолдеры вида ? не поддерживаются, можно использовать или нумерованные (как в PostgreSQL $1, $2 etc) или именованные параметры @param

Соответствие типов Go - ClickHouse стало более строгим, теперь драйвер неявно ничего не кастит. Нет больше типов clickhouse.Array, clickhouse.IP и прочих костылей которые нужны были старым версиям Go. Для Decimal используется github.com/shopspring/decimal, для UUID github.com/google/uuid.

Сейчас не поддерживаются Geo и bigint типы (исключение Decimal128), и если с bigint понятно, то для Geo можно предложить хорошую библиотеку на Go которую мы будем использовать)

Стало удобнее работать с External data и создавать таблицы на лету.

Через Context теперь можно пробрасывать настройки на запрос: Query ID, Quota Key, Span для OpenTelemetry и получать события выполнения: progress, logs, profile info, profile events

Стало быстрее где-то на 40%, а чтоб было еще быстрее теперь есть нативный интерфейс доступа, похожий на стандартный, но быстрее.

Помимо этого можно результаты запроса сразу сканить в структуры, по типу как в sqlx. Он, как и стандартный, поддерживает пул коннектов, делает хелсчеки и умеет в балансировку и HA.

При переходе на него можно ожидать выигрыша еще на 30-35%.

Для тех у кого данные уже по каким-то причинам упакованы поколоночно, оставлен Columnar интерфейс, он стал удобнее, правда, кроме как Cloudflare им, насколько я помню, особо никто не пользовался и если у вас нет 1кк RPS в HTTP который надо положить в КХ, то смотреть на него не стоит.

Те по перфомансу можно получить примерно Х2 на реальных приложениях, все зависит от типов данных которые вы используете, на простых (Int, Date, DateTime etc) он может быть выше.

Также CI переехал со сломанного Travis CI, на GitHub Actions и поддерживает матрицу тестирования для поддерживаемых версий Go и ClickHouse сервер.

https://github.com/ClickHouse/clickhouse-go

А как вы Nginx log кладете в CH ? Парсите файл и вставляете ?

У нас есть сервис который принимает логи c Nginx как syslog, в Nginx формат log_format kinescope_log escape=json '{' '"service":"live",' '"host":"$host",' '"status":$status,' '"bytes_sent":$bytes_sent,' '"addr":"$remote_addr",' '"method":"$request_method",' '"uri":"$request_uri",' '"request_time":$request_time' '}'; он его разбирает и пишет в КХ. Там от 50 до 700rps в зависимости от. Основной трафик мы отдаем не через Nginx, но пишем тоже в Кх (там логи идут батчами по несколько сообщений в protobuf), так что со временем переведем

Спасибо :)