Привет! Есть ли либа для быстрой работы с множествами (добавление и

Question

Привет! Есть ли либа для быстрой работы с множествами (добавление и

проверка на наличие элемента в множестве), не помещающихся в RAM? Самый близкий пример: py-lmdb, только это не множество, а key-value DB. Можно, конечно, использовать только ключи, но, кажется, что должно быть что-то получше.

#backend #programming #python #russian

0

16.09.2020

11 ответов

13 просмотров

Roman Inflianskas Автор вопроса

And Rey
есть пример элементов множества? Интересует однооб...

Элементы множества: sha1(SOME_BYTE_STRING).hexdigest() И таких элементов — ~30 млн.

0

16.09.2020

alexcher 🌸

Roman Inflianskas
Элементы множества: sha1(SOME_BYTE_STRING).hexdige...

Можно сделать множество из множеств

0

16.09.2020

Андрей

alexcher 🌸
Можно сделать множество из множеств

нельзя

0

16.09.2020

alexcher 🌸

Андрей
нельзя

Окей, дикт множеств)

0

16.09.2020

Андрей

alexcher 🌸
Окей, дикт множеств)

по прежнему нет

0

16.09.2020

And Rey

Roman Inflianskas
Элементы множества: sha1(SOME_BYTE_STRING).hexdige...

Я бы взял 16 машин, назвал их 0, 1, ..., 9, A, ... F и в RAM каждой из них хранил подмножества int по первому символу hexdigest Например, hashlib.sha1(b"SOME_BYTE_STRING").hexdigest() == '4458d53299156f9376b4d2c7322e6f19e8540c25' первый символ 4, хранить его на ноде 4, но хранить в set не hexdigest() а digest()

0

16.09.2020

Roman Inflianskas Автор вопроса

And Rey
Я бы взял 16 машин, назвал их 0, 1, ..., 9, A, ......

Спасибо за идею, но моя программа рассчитана на работу на одной машине, причём несильно мощной. Интересует вариант гибрида хранения в RAM/диск. Я готов пожертвовать скоростью.

0

16.09.2020

Tishka17

Roman Inflianskas
Спасибо за идею, но моя программа рассчитана на ра...

Звучит как swap

0

16.09.2020

And Rey

Roman Inflianskas
Спасибо за идею, но моя программа рассчитана на ра...

ну тогда реализуй этот гибрид сам. Не сложно же: '4458d53299156f9376b4d2c7322e6f19e8540c25' будем хранить по пути /44/58/d5/32/99/15/6f/93/76/b4/d2/set, где файл set это бинарный блоб равных кусков, один из которых c7322e6f19e8540c25 — то есть в файле храним только хвост.

0

16.09.2020

Roman Inflianskas Автор вопроса

And Rey
ну тогда реализуй этот гибрид сам. Не сложно же: ...

Спасибо, что-то сам не подумал о такой реализации.

0

16.09.2020

And Rey · Accepted Answer

And Rey

есть пример элементов множества? Интересует однообразие/разнообразие

0

16.09.2020

170 похожих чатов

Привет! Есть ли либа для быстрой работы с множествами (добавление и

11 ответов

Похожие вопросы