А сторонних разработчиков, которые не контрибьютят в сам кх-сервер но

Question

А сторонних разработчиков, которые не контрибьютят в сам кх-сервер но

пишут инструменты интеграции с ним тоже касается? Например очень интересно почему Native сетевой протокол получился таким каким получился и есть ли какие-то планы его улучшать?
Конкретно очень смущает его заточенность на блокирующийся сетевой i/o, если отправлять в него ещё худо-бедно можно асинхронно, то доставать блоки из сети чаще всего означает отдать под это отдельную нитку (полагаю на сервере тоже отдается thread-per-connection) т.к. у нежатого блока нет никакой информации в заголовке о том сколько там ещё осталось до конца данных. Конечно ввод можно буфферизовать, но тогда снежным комом возникает необходимость делать много разноразмерных аллокаций, копирований, что тоже не круто.
При сжатии все чуть лучше, т.к. есть возможность выудить размер, но часть драйверов на нативном протокле не умеет в сжатие из-за того что оно всецело полагается на CityHash 1.0.2, что является следующей проблемой ибо в природе готового алгоритма именно такой версии да ещё и под разные языки достаточно мало и разработчики страдают переписыванием с c++ и коммитят очередные баги в продакшны.
Это что касается контрибьюшна в экосистему с другой точки зрения, хочется чтоб внешние интерфейсы кликхауса были простыми и в то же время быстрыми. Сетевой стек пока не про это.

#backend #clickhouse #database #devops #programming #russian

0

05.03.2018

1 ответов

15 просмотров

Alexey Milovidov · Accepted Answer

Да, контрибьюторы рассматриваются не только те, что коммитят в основной репозиторий. > Например очень интересно почему Native сетевой протокол получился таким каким получился и есть ли какие-то планы его улучшать? Для некоторых вещей умных объяснений нет, но можно рассказать, почему всё так как есть. В самое ближайшее время менять протокол не планируется. Но есть одна связанная задача, для которой это было бы полезно - менять как раз в том направлении, которое вы имеете ввиду - например, чтобы можно было передавать несколько resultset-ов в перемешку в одном соединении, и чтобы в целом протокол состоял из простых асинхронных команд, а не сложной "стейт-машины", в которой надо очень аккуратно в правильной последовательности правильные кусочки данных передавать.

184 похожих чатов

А сторонних разработчиков, которые не контрибьютят в сам кх-сервер но

1 ответов

Похожие вопросы