184 похожих чатов

Всем привет! Ребята, подскажите, есть ли у кого опыт использования

H3 индексирования в Clickhouse где можно почитать про примеры использования? Моя задача состоит в том, чтобы с бекенда принимать выделенную область и быстро (+ точно, не выходя за рамки) фильтровать из большого массива данных по этим координатам. Заранее благодарю за ответы!

15 ответов

12 просмотров

В целом рабочий вариант, на счет примеров наверное нет

Igor-Gorbenko Автор вопроса
Dmitry [Altinity] Titov
В целом рабочий вариант, на счет примеров наверное...

очень мало информации удалось найти в сети... как например организовывать данные в таблице? Делать 15 столбцов по каждому resolution индекса H3 или обойтись одним столбцов? Как передавать в фильтр WHERE координаты выбранной области?

Igor Gorbenko
очень мало информации удалось найти в сети... как ...

ну логично хранить самое маленькое разрешение

> Делать 15 столбцов по каждому resolution индекса H3 Точно нет, думаю одного с какой то разумной точностью хватит. (например 9) > Как передавать в фильтр WHERE координаты выбранной области? Кодируя их в H3 число

Igor-Gorbenko Автор вопроса
Константин
ну логично хранить самое маленькое разрешение

почему? Что если будет передана область огромного размера, как оптимально выбрать данные?

Igor-Gorbenko Автор вопроса
Dmitry [Altinity] Titov
> Делать 15 столбцов по каждому resolution индекса...

можете дать пример, как кодировать координаты в H3, чтобы эффективно произвести поиск?

Igor Gorbenko
почему? Что если будет передана область огромного ...

Сгенерировать список H3 тайлов что перекрывают эту область

Igor-Gorbenko Автор вопроса
Dmitry [Altinity] Titov
Сгенерировать список H3 тайлов что перекрывают эту...

если будет один столбец с маленьким разрешением --> высокая кардинальность и придется сканировать больше данных, я правильно понимаю?

Igor Gorbenko
если будет один столбец с маленьким разрешением --...

Маленькое разрешение -> низкая кардинальность. С одной стороны да, с другой суть H3 индекса. что он "хорошим" образом заметает поверхность, так что скорее всего будет читать данные из одного диапазона гранул

Igor-Gorbenko Автор вопроса

т.е. в таблице хранить родительский H3 (маленькое разрешение, к примеру, H3_3) индекс и каждый раз на лету получать от него список дочерних и сравнивать их с тем, что приходит в запросе на фильтрацию?

Igor Gorbenko
т.е. в таблице хранить родительский H3 (маленькое ...

да, потом дополнительно отфильтровывать по попаданию координат в ваш полигон

Igor-Gorbenko Автор вопроса
Dmitry [Altinity] Titov
да, потом дополнительно отфильтровывать по попадан...

но в этом случае будет происходит полное сканирование таблицы?

Igor Gorbenko
но в этом случае будет происходит полное сканирова...

Почему? вы по H3 отсечете те гексы что вообще не попадают

Igor-Gorbenko Автор вопроса
Dmitry [Altinity] Titov
Почему? вы по H3 отсечете те гексы что вообще не ...

ага, понял. Условие фильтрации комплексное - сперва отсекаю по H3, который большой родительский и находится в PRIMARY KEY, затем дополнительно получаю список дочерних H3 в этом диапазон и сравниваю с тем, что пришло в запросе

Igor Gorbenko
ага, понял. Условие фильтрации комплексное - сперв...

Не совсем SELECT * FROM table WHERE h3_index IN (list_of_h3_covers_your_polygon) AND pointInPolygon(polygon_arr,lat,log) > бекенда принимать выделенную область

Похожие вопросы

Обсуждают сегодня

здравствуйте. совершаю вот такую вещь: strcpy(line, (char)current_number); где current number — неподписанный шорт, line — массив чаров. ругань следующая: main.c:29:30: error...
Roberto's Ширгозиев
13
Можно попросить небольшое ревью кода? Тут немнога, я ничего интереснее не придумал, чем написать аналог tree в качестве практики с cmake. https://github.com/hrimov/tree-unix/...
Andrew Hrimov
11
Всем привет. Ребят подскажите пожалуйста. Вопрос по дизасемблировани. Начну с начала. У меня есть скомпилированная программа на ГО (я разработчик) - в ней есть защита лицензии...
Zloy
11
я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
@MrMiscipitlick А можешь макрос написать, который будет вычислять смещение относительно переданных меток? Просто .label1-.label2, и вернуть значение.
КТ315
35
А еще в перле можно уже @arr1 + @arr2?
Sergei Zhmylove
53
кто тебе сказал, что она угроблена? многие только начинают жизнь, после увольнения из Гугла, Майкрософта, Оракла,...
Alex Kom
9
В альтернативе у нас сидеть горбатиться на дядю в галерах, пока не помрешь или пока тебя не заменят более молодым сотрудником, который готов гребсти в два раза дешевле. Вот и ...
Кабан Кабанов
7
Привет всем. появился вопрос. Разрабатываю сайт, в данный момент он запущен. Хостинг beget. Добавляю на сайт яндекс метрику с помощью полей client-settings (взято отсюда http...
Andrew
2
Подобного рода ;Следующие три строки это директивы ассемблера, ;которые можно не задавать, т.к.работаем в Visual Studio. ;Символ ";" - это начало однострочного комментария ...
Егор Анелькин
3
Карта сайта