170 похожих чатов

Господа, есть идеи, почему в этом коде https://dpaste.org/0WPO после определенного

количества отработавших процессов (где-то после 1000) начинают элементы параллельных списков прыгать из одного в другой?

13 ответов

17 просмотров

Это весь код?

Где хотя бы if __name__==...?

Andrei-Kopylov Автор вопроса
Tishka17
Где хотя бы if __name__==...?

Это как-то влияет в данном случае?

Andrei-Kopylov Автор вопроса
Tishka17
Где хотя бы if __name__==...?

Пока что субъективно увеличилась в разы скорость работы.. Это же не может быть из-за if name.. joblib что-то кэширует самостоятельно?)

Andrei-Kopylov Автор вопроса
Tishka17
До этого вообще не должно было работать

Да вроде работало, просто раскидывало части текста по разным файлам вперемешку, причём не сразу, первые 1000 текстов норм получались..

Andrei-Kopylov Автор вопроса
Tishka17
Так, проблема исходная осталась или как?

Пока не знаю, запустил на всём корпусе, корпус большой, утром проверю..

Andrei-Kopylov Автор вопроса
Tishka17
А что за joblib?

Библиотека для распараллеливания

Andrei Kopylov
Библиотека для распараллеливания

Сколько у тебя заданий отправляется на обработку?

Andrei-Kopylov Автор вопроса
Tishka17
Сколько у тебя заданий отправляется на обработку?

Около 100 тыс, но они длинные более 100 тыс символов каждый

Похожие вопросы

Обсуждают сегодня

Добрый вечер. Есть вопрос, а может и предложение. Был у меня диалог в другой группе о делфи и я задался вопросом: "А нельзя ли в делфи цвет //коментария и {комментария} сде...
Kraszx
19
я так понимаю, я так подозреваю, что создание такого плагина для человека, кто умеет писать плагины для делфи потребует минут 5-10 времени. но это мое подозрение. хотелось бы ...
Kraszx
7
Товарищи, кто работа с iphelper? Или может я в самой логике ошибки фигачу, не пойму.... var ifTable : PMIB_IFTABLE; size, corSize: DWORD; Buffer ...
Warfarellen
4
Привет, такой вопросик появился кажется ли вам что Rust слишком сложный/строгий для высокоуровневого программирования и слишком "безопасный"/строгий для низкоуровневого?
Крокант
10
Мдя, прикол, боевая сборка запускается (именно под отладчиком) после F9 примерно полторы минуты (97 секунд если быть точным). Начал копать - проблема детектится сразу - зависа...
Александр (Rouse_) Багель
38
Скажи а ты когда этот канал создавал ты уже дельфи не любил, или это со временем пришло?
Роман Лях (rgreat)
18
Здравствуйте, вопрос по структурам данных. Были у вас случаи, когда пришлось писать деревья или двунаправленные списки?
/ /
50
Коллеги, добрый вечер. Создаю коллекцию от TFPGMap, ключ - перечисление, значение - целое. Нужно отсортировать коллекцию по значению. Как это можно сделать?
Kirill Filippenok
7
Всем привет! Использую кастомное модальное диалоговое окошко, все по классике - mrOK, mrCancel как ModalResult. Однако есть нюанс - в главной форме есть универсальный обработч...
Олег Гранишевский
20
такое тоже не подойдёт? {$message 'Я тут эт самое, закомментил эт самое, чтобы эт самое того, ну надо было короче эт самое, делфи сакс эт самое, лазарус рулез!'}
notme
8
Карта сайта