Все доброго вечера, вопрос о хранении strings на диске. Как

Ну и в коде, собственно, реализация: Чтение строки: https://github.com/ClickHouse/ClickHouse/blob/master/src/IO/ReadHelpers.h#L127 Чтение длины: https://github.com/ClickHouse/ClickHouse/blob/master/src/IO/VarInt.h#L101 Как видно в длину попадают 7 младших битов из байта, если в старшем бите байта не 1 (if (!(byte & 0x80))), то чтение длины прекращается, а если 1, то она идёт дальше, и каждые следующие 7 младших битов помещаются в более старшие 7 битов итоговой длины.

0

14.05.2023

Denny [Altinity]

word 1973
И можно ссылку в документации что это leb128? Plea...

Это даже в Википедии описано. Спросите gpt

0

14.05.2023

word 1973 Автор вопроса

Denny [Altinity]
Это даже в Википедии описано. Спросите gpt

Не сыпь мне соль на рану! Я убила 4 часа после того как чат рассказал мне байку с полной уверенностью, что стринги в CH хранятся без размера, а с нулями в конце🤦🏼‍♀️ И не только в Википедии, даже в документации не так просто понять что и как сохраняется на диске

0

14.05.2023

Aleksandr Antonov

word 1973
Не сыпь мне соль на рану! Я убила 4 часа после тог...

GPT страдает от галлюцинаций, я не советую ему доверять что-то серьёзнее генерации boilerplate кода.

0

14.05.2023

Denny [Altinity]

word 1973
Не сыпь мне соль на рану! Я убила 4 часа после тог...

ну про ClickHouse gpt спрашивать смысла нет. Просто leb128 очень известный формат. explain in russian what is LEB128 ChatGPT LEB128 (Little Endian Base 128) - это переменная длина кодирования, которое используется для эффективного кодирования целых чисел. Он использует схему сжатия длины, которая позволяет записывать целые числа разной длины в зависимости от их значения. В LEB128 каждый байт представляет собой семь бит данных, а восьмой бит служит как флаг продолжения, указывающий, что байт содержит продолжение числа. Число кодируется в младших битах первого байта и продолжается в следующих байтах, если флаг продолжения установлен. Таким образом, использование LEB128 позволяет кодировать целые числа с меньшим количеством байтов, чем при использовании фиксированной длины кодирования, что делает его очень полезным для хранения целых чисел в памяти и передачи их по сети.

0

14.05.2023

Mark Andreev

word 1973
Не сыпь мне соль на рану! Я убила 4 часа после тог...

Так хранится FixedString https://clickhouse.com/docs/en/sql-reference/data-types/fixedstring И эти самые нули приходят на клиент (или раньше приходили).

0

14.05.2023

word 1973 Автор вопроса

Mark Andreev
Так хранится FixedString https://clickhouse.com/do...

Не совсем, в FixedString будет padding нулями только если длина меньше N… но если строчки точно длинной N, то не будут там нули

0

14.05.2023

Mark Andreev

word 1973
Не совсем, в FixedString будет padding нулями толь...

ага, все так. проблемы или неожиданности возникают ровно в момент "длина меньше N".

0

14.05.2023