количества отработавших процессов (где-то после 1000) начинают элементы параллельных списков прыгать из одного в другой?
Это весь код?
Где хотя бы if __name__==...?
Это как-то влияет в данном случае?
В винде нету форка.
Пока что субъективно увеличилась в разы скорость работы.. Это же не может быть из-за if name.. joblib что-то кэширует самостоятельно?)
До этого вообще не должно было работать
Так, проблема исходная осталась или как?
Да вроде работало, просто раскидывало части текста по разным файлам вперемешку, причём не сразу, первые 1000 текстов норм получались..
Пока не знаю, запустил на всём корпусе, корпус большой, утром проверю..
Библиотека для распараллеливания
Сколько у тебя заданий отправляется на обработку?
Около 100 тыс, но они длинные более 100 тыс символов каждый
Обсуждают сегодня