170 похожих чатов

Господа, есть идеи, почему в этом коде https://dpaste.org/0WPO после определенного

количества отработавших процессов (где-то после 1000) начинают элементы параллельных списков прыгать из одного в другой?

13 ответов

19 просмотров

Это весь код?

Где хотя бы if __name__==...?

Andrei-Kopylov Автор вопроса
Tishka17
Где хотя бы if __name__==...?

Это как-то влияет в данном случае?

Andrei-Kopylov Автор вопроса
Tishka17
Где хотя бы if __name__==...?

Пока что субъективно увеличилась в разы скорость работы.. Это же не может быть из-за if name.. joblib что-то кэширует самостоятельно?)

Andrei-Kopylov Автор вопроса
Tishka17
До этого вообще не должно было работать

Да вроде работало, просто раскидывало части текста по разным файлам вперемешку, причём не сразу, первые 1000 текстов норм получались..

Andrei-Kopylov Автор вопроса
Tishka17
Так, проблема исходная осталась или как?

Пока не знаю, запустил на всём корпусе, корпус большой, утром проверю..

Andrei-Kopylov Автор вопроса
Tishka17
А что за joblib?

Библиотека для распараллеливания

Andrei Kopylov
Библиотека для распараллеливания

Сколько у тебя заданий отправляется на обработку?

Andrei-Kopylov Автор вопроса
Tishka17
Сколько у тебя заданий отправляется на обработку?

Около 100 тыс, но они длинные более 100 тыс символов каждый

Похожие вопросы

Обсуждают сегодня

Господа, а что сейчас вообще с рынком труда на делфи происходит? Какова ситуация?
Rꙮman Yankꙮvsky
29
А вообще, что может смущать в самой Julia - бы сказал, что нет единого стандартного подхода по многим моментам, поэтому многое выглядит как "хаки" и произвол. Короче говоря, с...
Viktor G.
2
30500 за редактор? )
Владимир
47
а через ESC-код ?
Alexey Kulakov
29
Чёт не понял, я ж правильной функцией воспользовался чтобы вывести отладочную информацию? но что-то она не ловится
notme
18
У меня есть функция где происходит это: write_bit(buffer, 1); write_bit(buffer, 0); write_bit(buffer, 1); write_bit(buffer, 1); write_bit(buffer, 1); w...
~
14
Добрый день! Скажите пожалуйста, а какие программы вы бы рекомендовали написать для того, чтобы научиться управлять памятью? Можно написать динамический массив, можно связный ...
Филипп
7
Недавно Google Project Zero нашёл багу в SQLite с помощью LLM, о чём достаточно было шумно в определённых интернетах, которые сопровождались рассказами, что скоро всех "ибешни...
Alex Sherbakov
5
Ребят в СИ можно реализовать ООП?
Николай
33
https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_h_common.erl#L174 https://github.com/erlang/otp/blob/OTP-27.1/lib/kernel/src/logger_olp.erl#L76 15 лет назад...
Maksim Lapshin
20
Карта сайта