170 похожих чатов

Всем привет! Ребят, посоветуйте структуру данных для хранения очень большого

списка доменных имён. Важна только скорость чтения. Мне в голову пришли стандартная хэшмапа и возможно деревья. Может еще что то посоветуете?

11 ответов

12 просмотров

В смысле важна скорость поиска? И на сколько большой список? И какой RPS тебя интересует? Имхо, хешмапа вполне нормально.

Mea Culpa- Автор вопроса

Да да, скорость поиска. Десятки миллионов доменов. По поводу RPS пока что сказать ничего не смогу.

Mea Culpa
Да да, скорость поиска. Десятки миллионов доменов....

Поиск для того, чтобы определить есть в списке или нет, или счетчик какой?

https://github.com/hashicorp/go-memdb

зависит от операций, которые нужно производить над структурой

Mea Culpa- Автор вопроса
Mea Culpa- Автор вопроса
Alexey Ermakov
зависит от операций, которые нужно производить над...

Основная операция - проверка на присутствие в списке

самое быстрое это хеш таблица, но у неё своих недостатков достаточно если ОЧЕНЬ большой объем данных (не помещается в озу) - пробабилистики всякие, типа блум фильтров/xor фильтров/не помню что там еще есть

Mea Culpa- Автор вопроса
Alexey Ermakov
самое быстрое это хеш таблица, но у неё своих недо...

спасибо, думаю в озу данные поместятся. По поводу хэшей да, есть опасения на большом обьёме данных

Mea Culpa
спасибо, думаю в озу данные поместятся. По поводу ...

если набор данных заранее известен, есть методы расчета т.н. perfect hash function но это не golang-way

Похожие вопросы

Обсуждают сегодня

Какой-то там пердун в 90-х решил, что есть какая-то разная типизация. Кого вообще это волнует?
КТ315
49
void terminal_scroll() { memmove(terminal_buffer, terminal_buffer + VGA_WIDTH, buffer_size - VGA_WIDTH); memset(terminal_buffer + buffer_size - VGA_WIDTH, 0, VGA_WIDTH); ...
Егор
47
Всем привет! Подскажите, пожалуйста, в чем ошибка? Настраиваю подключение к MySQL. Либы лежат рядом с exe. Все как по "учебнику"
Евгений
16
А можете как-то проверить меня по знаниям по ассемблеру?
A A
132
Здравствуйте! У меня появилась возможность купить книгу "Изучай Haskell во имя добра!". Но я где-то слышал, что эта книга устарела. Насколько это правда??
E
22
Здравствуйте! Я вот на stepic решаю задачи на хаскеле https://stepik.org/lesson/8443/step/8?unit=1578 мой код import Data.List (isInfixOf) removing :: String -> [String] ->...
E
10
Камрады, кто тесно работал с vtv, хотел уточнить. Ширина column задаётся жёстко на этапе создания дерева или можно в рантайме ее менять программно (не мышкой)?
Ed Doc
10
да ладно ... что там неочевидного ? глянуть в исх-ки датасета и/или кверика чтобы понять в каком месте и как выполняется обращения к св-вам blablaSQL - минутное дело, даже е...
Сергей
7
Здесь для arm кто-нибудь кодит ?
Nothing
52
Всем привет, у меня есть сервер принимающий входящие HTTP подключения, как проверить, что подключение было через прокси или нет, есть какие то поля в заголовках по которым мо...
Кибер Бомж
8
Карта сайта