170 похожих чатов

Гайз, а почему мультипроцессинг в данном случае не работает? Скорость

одна и та же хоть с одним воркером, хоть с 9, хотя всего записей девять. Трабла с чтением из монговского gridfs, но в чем конкретно проблема понять не могу

mongo_client = MongoDb() - просто новый инстанс pymongo

def process_file(file_id):

mongo_client = MongoDb()
wp_file = mongo_client.grid_fs.find_one({"_id": bson.ObjectId(file_id)})

a = wp_file.read()
return "lol"


def main():
mongo_client = MongoDb()
files = mongo_client.get_all_files()

with ProcessPoolExecutor(max_workers=9) as executor:
futures = []
for file_data in files:
futures.append(executor.submit(process_file, file_data._id))

print(*(future.result() for future in as_completed(futures)))


if name == "__main__":
main()

12 ответов

11 просмотров

Поди монга однопоточная

Denis Kalinochkin
Поди монга однопоточная

Ну так я каждый раз новый коннект делаю

Проксимов Прксимович
Там просто создание MongoClient

можно как-то внутри монги текущие коннекты глянуть?

Denis Kalinochkin
Поди монга однопоточная

Это грустно, казалось что нет

Проксимов Прксимович
Это грустно, казалось что нет

Недавно смотрел бенчмарки монги с 1, 10, 256 соединениями и тд, если не ошибаюсь то до какого-то момента количество соединений помогает.

Andrey Sapronov
Недавно смотрел бенчмарки монги с 1, 10, 256 соеди...

С монгой то помогает. А с гридфс нет походу

можно попробовать с другим клиентом тоже самое сделать, например с GOшным если проблема остается, значит, в монге/гридфс/движке/драйвере/ос затык

Похожие вопросы

Обсуждают сегодня

А еще в перле можно уже @arr1 + @arr2?
Sergei Zhmylove
53
Подскажите, где смотреть результат выполнения программы? Код: ;.686 ;Система команд процессора 686 ;.MODEL FLAT,stdcall ;Модель памяти плоская, станда...
Егор Анелькин
5
я не магистр хаскеля, но разве не может лейзи тип конвертнуться в не-лейзи запросив вычисление содержимого прям при инициализации?
deadgnom32 λ madao
100
Привет всем. появился вопрос. Разрабатываю сайт, в данный момент он запущен. Хостинг beget. Добавляю на сайт яндекс метрику с помощью полей client-settings (взято отсюда http...
Andrew
2
;.686 ;Система команд процессора 686 ;.MODEL FLAT,stdcall ;Модель памяти плоская, стандартный ;вызов процедуры ;option casemap:no...
Егор Анелькин
1
Так а кто может спарсить всех участников чата? Идишники
Magic
17
Есть вопрос: допустим есть железка с каким-то интерфейсом(допустим usb), но как по этому интерфейсу железкой управлять неизвестно, прог нету, а управлять очень хочется надо. К...
Mixail Frolov
15
а как ловят такое ghci> res <- getPos2 urlt 0 (alist !! 0) 200 ghci> res SearchAtom (Search "www.google.com" "/search?q=" "Haskell") "haskell.org" (SearchTS [(2024-05-06 07:...
Fedor
14
всем привет почти закончил курс После него можно писать свою операционку? Какие библиотеки надо использовать и куда дальше копать для изучения
Linus
13
Ребята, а из API геокодеров (по адресам в РФ) что сейчас актуального и есть ли среди актуального бесплатное/с нормаотным лимитом запросов? ситуация простая - на сайте периоди...
Dreamer_0x01 VeseloV
8
Карта сайта