170 похожих чатов

Господа, есть идеи, почему в этом коде https://dpaste.org/0WPO после определенного

количества отработавших процессов (где-то после 1000) начинают элементы параллельных списков прыгать из одного в другой?

13 ответов

10 просмотров

Это весь код?

Где хотя бы if __name__==...?

Andrei-Kopylov Автор вопроса
Tishka17
Где хотя бы if __name__==...?

Это как-то влияет в данном случае?

Andrei-Kopylov Автор вопроса
Tishka17
Где хотя бы if __name__==...?

Пока что субъективно увеличилась в разы скорость работы.. Это же не может быть из-за if name.. joblib что-то кэширует самостоятельно?)

Andrei-Kopylov Автор вопроса
Tishka17
До этого вообще не должно было работать

Да вроде работало, просто раскидывало части текста по разным файлам вперемешку, причём не сразу, первые 1000 текстов норм получались..

Andrei-Kopylov Автор вопроса
Tishka17
Так, проблема исходная осталась или как?

Пока не знаю, запустил на всём корпусе, корпус большой, утром проверю..

Andrei-Kopylov Автор вопроса
Tishka17
А что за joblib?

Библиотека для распараллеливания

Andrei Kopylov
Библиотека для распараллеливания

Сколько у тебя заданий отправляется на обработку?

Andrei-Kopylov Автор вопроса
Tishka17
Сколько у тебя заданий отправляется на обработку?

Около 100 тыс, но они длинные более 100 тыс символов каждый

Похожие вопросы

Обсуждают сегодня

А чем вам питонисты не угодили?😂
.
79
Язык Си можно выучить за день? По книжке ANSI C на 230 страниц
Vincent Vegan
29
Всем привет, написал код ниже, но он выдает сегфолт, в чем причина? #include <stdio.h> #include <stdlib.h> #include <string.h> struct product { char *name; float price; };...
buzz базз
75
Dim Dim, [02.07.2024 11:07] DB 0x62 Dim Dim, [02.07.2024 11:07] DB 0x66 Dim Dim, [02.07.2024 11:07] кто пояснит что это?
Dim Dim
14
Ошибка: segmentation fault (core dumped) Код: pastebin.com/BEsNNSSV Сообщение от компилятора: отсутствует ОС: Arch Linux Ядро: x86_64 Linux 6.9.7-arch1-1 Процессор: Intel Cele...
sec
4
Ребят, а за скок можно впарить анон чат с апишкой и веб админкой ?
Eugene Неелов
15
Ещё такой вопрос. Мне необходимо хранить пароль пользователя локально. Для этого планирую использовать ini файл. Это для автозаполнения полей логин и пароль при авторизации. Е...
Евгений
19
Кстати, я тут еще с одной темой столкнулся, вот учу я C++, на таком то ресурсе, а остальные постоянно советуют практиковаться, что то писать, проекты, но как писать если вот т...
aaswq1
7
Добрый день, чат. Мне в очередь из других RabbitMQ по shovel валятся метрики в формате текста для Prometheus. Помогите пожалуйста подружить RabbitMQ и Prometheus, чтобы он (...
Aleksey
4
@ahndmn @ayaw0_0 здарова, на чем пишете?
Aiwan \ (•◡•) / _bot
7
Карта сайта