Привет! Как распаралелить можно запросы к mongo через Python?

12 ответов

9 просмотров

Мультипроцессинг используйте.

На чтение или на запись?

Vasily-Vologdin Автор вопроса
Vasily Vologdin
На чтение

Тут сложнее ибо надо понять как организовать. Как читать будете.

Vasily Vologdin
На чтение

Как на чтение? У вас на входе условно должны быть список аргументов по которым ищете. Каждый запрос в процесс. Поэтоиу и спросил как читать.

Andrey
Как на чтение? У вас на входе условно должны быть ...

Это если нельзя в 1 запрос оформить к базе.

Vasily-Vologdin Автор вопроса
Andrey
Это если нельзя в 1 запрос оформить к базе.

Есть 500+ коллекций Сейчас в цикле пробегаюсь по всем и получаю данные за нужный временной промежуток (одинаковый для всех запросов Те меняется только имя коллекции

Vasily Vologdin
Есть 500+ коллекций Сейчас в цикле пробегаюсь по...

Делаете функцию в которую передаете аргументами connection string и аргументы. Она читает возвращает данные. Создаете pool из mp и передаете функцию и аргументы. Позже условный пример скину.

Vasily Vologdin
Есть 500+ коллекций Сейчас в цикле пробегаюсь по...

Аргументы у функции лучше сделать: connection_string, database, collection_name, query. В этой функции создаете клиента делаете выборку из коллекции и вовращаете результат. Очень хороший пример из документации к python у них на сайте. Можно так же сделать. https://docs.python.org/3/library/concurrent.futures.html Вам лучше ProcessPoolExecutor. Там можно прям по примерам из документации сделать.

Vasily Vologdin
благодарю!

Там из документации по ссылке он проверяют список чисел на простоту. У них список чисел - это ваши коллекции. А функция проверки на простоту - ваша функция в которой цепляетесь к базе и выборку делаете. Условно конечно - но концепт очень понятен.

Vasily Vologdin
благодарю!

Можно еще через асинхронные запросы. Но это уже на любителя - кто как делает.

Похожие вопросы

Обсуждают сегодня

Подскажите, а есть vault lite или ченить такое?) А то нужен вольт для похода в вольт, но весит он ~500 мб) как-то многовато для парочки запросов ))
Alexandr Orloff
17
Всем привет, есть небольшая проблема Есть такой скрипт document.addEventListener('DOMContentLoaded', function () { const sliderTabs = document.querySelectorAll('.s...
A da
8
@go1337 @dblackCat Привет. Все ещё дрочусь с fastpanel. Добавил второй домен который должен смотреть в рут того же сайта, но так как это просто домен, а не сайт, я не могу ему...
Ross 🦴
9
До речі, в ево нема можливості чи якого розширення щоб з адмінки з телефона зайти і терміново щось в верстці поправити?
Женя
7
кто-нибудь пользуется тайм-трекерами во время работы? так много разных нагуглил, может есть что-то популярное
Lencore
8
Пацаны. Я разрабатываю софт для инвайтинга на телетон, и столкнулся с такой проблемой, в один из чатов не могу приглашать никого, не дает добавлять, в то же время через официа...
Kernel Panic
11
Скажите, а кому нужен Currency как отдельный плагин вместо полноценного ecommerce в OctoberCMS? Кто-то использует его уже или планирует в будущем? Может я что-то не понимаю?
Igor
13
Розмовами про Рево мені нагадали часи, коли шаблони правилися прямо в адмінці. Хто в курсі, чому відійшли від цієї практики, так блейд не працює? Доволі зручно ж було (інколи)
Женя
3
Всем добрый вечер, Рад оказаться в кругу единомышленников. Начинаю погружаться в мир .net веба. Зовут Ерасыл 🖖 У меня назрел вопрос: Какой процент проектов, прошедшие через в...
Ерасыл
6
Чому? Да тому що без GiT не уявляю нормального проекта а коли код в базі то то так собі
Dmytro Lukianenko
3
Карта сайта