Вопрос по оптимизации/производительности. Задача такая. На вход есть интерируемый объект

Question

Вопрос по оптимизации/производительности. Задача такая. На вход есть интерируемый объект

данных. Размер от 500 000 до миллиона элементов. На каждой итерации нужно каждый элемент проверить по 50 разным условиям и кешировть результат каждой проверки.
Что будет быстрее и насколько(примерно):
1. Написать 50 функций обработчиков и пустить это все на 10 подпроцессах на 10 ядрах по одной функции на подпроцесс.
2. Обрабатывать все в один проход на одном ядре, но последовательно применять все 50 функций на каждой итерации.
3. Обрабатывать на одном ядре и написать одну огромную функцию с 50 проверками, что бы снизить накладные расходы на вызовы функций?

#backend #programming #python #russian

0

19.02.2019