В arrow вроде есть битмаски, для нуллов например
Для нуллов в спарке есть первая часть InternalRow - тоже битмап. Кодировка несложная, ведь всего два варианта. Думаю, во вторичных индексах содержится что-то более интересное)
да. у нас индекс это пространственный uber H3, он состоит из шестиугольников. соответственно вокруг каждого шестиугольника ещё 6 соседей, то есть 1 позиция индекса это 7 бит — на каждый шестиугольник 1 бит признака. плюс знаковый бит на случай, если вся ромашка установлена в true. поэтому индекс состоит из byte[], удобно на roaringbitmaps я смотрел, когда оное писал %)
Обсуждают сегодня