184 похожих чатов

Использую официальный драйвер https://github.com/ClickHouse/clickhouse-go/ Он использует TCP протокол При сортированном запросе все

данные забивает сразу в память, а при несортированном получает пачками и не забивает.
Это стандартное поведение для TCP протокола? Есть ли пути обхода? Кто сталкивался?

8 ответов

9 просмотров

это все не так. Что такое "забивает сразу в память"

Загир-Нургалиев Автор вопроса
Denny [Altinity]
это все не так. Что такое "забивает сразу в память...

Есть 2 VIEW идентичные. несортированный и сортированный Сортированный - 500мб хипа отжирает при селекте Несортированный - 170мб

Загир Нургалиев
Есть 2 VIEW идентичные. несортированный и сортиров...

хипа? в go? в смысле на клиенте КХ или сервере КХ?

Загир-Нургалиев Автор вопроса
Denny [Altinity]
хипа? в go? в смысле на клиенте КХ или сервере КХ?

Память отжирается на клиенте, именно при запросах в сортированные view

Загир Нургалиев
Память отжирается на клиенте, именно при запросах ...

это странно, разница только в том с какой интенсивностью КХ возвращает. Просто для сортированного результата ответ возвращается целиком, а для не сортированного стримится, но клиенту должно быть пофиг. Может в го драйвере можно размер блока возвращаемого настроить?

Загир-Нургалиев Автор вопроса
Denny [Altinity]
это странно, разница только в том с какой интенсив...

Подебажил немного, он при чтении берет размер блока из TCP ответа похоже, При сортированном запросе размер блока 65505, соответственно целиком читает 65к записей в память. откуда может браться это число? Может какая настройка на стороне КХ?

Загир Нургалиев
Подебажил немного, он при чтении берет размер блок...

max_block_size можно поменять для сессии, профиля, запроса

Загир Нургалиев
Подебажил немного, он при чтении берет размер блок...

в общем-то в 99% случаев КХ возвращает блоки по 65505 строк и оперирует внутри себя тоже, раньше было 65536 но выяснилось что перформанс при 65505 в среднем выше из-за каких-то оверхедов.

Похожие вопросы

Обсуждают сегодня

Всем привет! Имеется функция: function IsValidChar(ch: UTF8Char): Boolean; var i: Integer; ValidChars: AnsiString; begin ValidChars := 'abcdefghijklmnopqrstuvwxyzABCDE...
Евгений
44
Ну вот просто даже давайте вот как. Какой нибудь конкретный кейс, можете в пример привести, где бч работает и приносит прикладную пользу, а не просто что бы было? Не крипту.
Alexander Andreev
22
объясните пожалуйста, почему функция не работает должным образом? вроде должно брать активное окно сравнивать его размер с размером экрана, и если есть совпадение = true прове...
JF
12
лучше скажите, причём тут паскаль?
Alexey Kulakov
36
> Копаем глубже > Следующий момент был, когда я спросил его, знает ли он JavaScript. Он ответил, что его учили работать с C#. Я тоже в университете писал на C#, но даже там мн...
Oleg Volkov
4
Гляньте, че бывает: Сегодня по одному проекту одной вебстудии делал проект небольшой, на их хостинге. На Modx revo. В определенный момент , работая в админке, вдруг перестал р...
Artem
5
И никого не интересует какие пакеты кто использует. ((% Заходишь на сайт симфони и видишь поддержку Украины - по законам РФ это ж экстремизм. Только никто не отказывается от с...
Am Ambrion
11
Чтобы перехватить все нажимания буков на форме, надо хук ставить? Пробовал на форме ОнКейДаун, оно ловит клаву если фокус не на компоненте с вводом текста
Serjone
15
Но, может, есть уже проверенная? Наши требования такие: 1. Сообщения должны приходить из Инста в CRM оду 2. Должна быть возможность подключить несколько экаунтов Инстаграм. Р...
Alexander Sharoiko MSE / Александр Шаройко
8
Народ! Впервые клиенту пришло письмо от РКН, у вас, дескать, есть яндекс метрика, а нигде не написано, что вы ее юзаете. Никто не сталкивался?
Sasha Beep
14
Карта сайта