Привет Вопрос по mongodb Храню в коллекции список элементов Хочу сравнить список элементов

Question

Привет Вопрос по mongodb Храню в коллекции список элементов Хочу сравнить список элементов

в оперативной памяти со списком в БД
(и найти те, которые есть в памяти и нет в БД)

Как это правильнее сделать?
Просто выгрузить все элементы из БД? И выполнить сравнение на стороне Питона?
Или можно как-то выполнить сравнение списков на стороне Монги?

Элементов - несколько тысяч, до 10к

#backend #programming #python #russian

0

21.09.2021

9 ответов

10 просмотров

Ilya Автор вопроса

denis
.find(field_name: {'$in': [1, 2, 3]})

если я в $in передам список из 5к элементов, это ок будет?

0

21.09.2021

denis

Ilya
если я в $in передам список из 5к элементов, это о...

если не ок, что мешает сделать по кускам?

0

21.09.2021

Ilya Автор вопроса

denis
если не ок, что мешает сделать по кускам?

не знаю поэтому и спрашиваю

0

21.09.2021

denis

ну попробуй, скорее всего 10к это нормально вообще почти всегда стоит делать по максимуму на стороне бд

0

21.09.2021

Ilya Автор вопроса

denis
ну попробуй, скорее всего 10к это нормально вообще...

спасибо

0

21.09.2021

Ilya Автор вопроса

denis
ну попробуй, скорее всего 10к это нормально вообще...

есть список А в оперативной памяти (переменной) и список B в БД как найти элементы, которые есть в A, но нет B? найти пересечение A и B (запросом к БД) и потом вычесть это пересечение из A? (уже Питоном) все равно придется на стороне Питона часть расчетов проводить?

0

21.09.2021

Kirill Kuzminykh

Тебе в любом случае надо будет вычитать все документы в базе. А вот заставлять монгу каждый документ сравнивать со списком на 10к элементов - это херовая идея. Проще одним запросом вычитывать документы из базы (используй projection, что бы не доставать все поля, а только нужные). Вычитывать как итерататор, не надо превращать результат в список. Исходный список в памяти превращаешь в set. В теле цикла удаляешь из set-a элемент полученный из базы. По завершению цикла в set-е останутся те элементы, которых нет в базе. Примерно так: source = set(source_list) for doc in collection.find({...}, projection={'value': 1}): source.remove(doc['value'])

0

21.09.2021

Ilya Автор вопроса

Kirill Kuzminykh
Тебе в любом случае надо будет вычитать все докуме...

спасибо!

0

21.09.2021

denis · Accepted Answer

denis

.find(field_name: {'$in': [1, 2, 3]})

0

21.09.2021

170 похожих чатов

Привет Вопрос по mongodb Храню в коллекции список элементов Хочу сравнить список элементов

9 ответов

Похожие вопросы