Всем привет! Возможно, кто-то сможет подсказать: пользуюсь HelsinkiNLP для перевода

Question

Всем привет! Возможно, кто-то сможет подсказать: пользуюсь HelsinkiNLP для перевода

текстов(соответственно, использую MarianTokenizer и MarianMTModel из библиотеки transformers)
Проблема состоит в том, что для перевода сотни текстов нужна целая минута, а у меня таких вот текстов 320к (несколько дней ждать, в общем)

Быть может, кто-то знает как это дело правильно параллелить? С пайтоновским multiprocess не вышло, хотя я пытался инициализировать модельки и внутри потоков, и вне. Замена multiprocess на аналог от PyTorch тоже не помогла.

Как вы думаете, это возможно вообще? Я бы хотел, чтобы, скажем, 16 текстов переводились одновременно. Ресурсы для этого есть) а вот как это правильно собрать — понимания нет.

Если у кого-то есть рабочий пример — дайте знать)

#nlp #programming #russian

0

12.08.2021

4 ответов

17 просмотров

Ivan Stankov Автор вопроса

Вы имеете ввиду запуск нескольких кластеров в облаке для перевода? Это, конечно, возможно, но мне задействовать свои 16 ядер хватило бы) Конечно, если какой-то компонент модели не позволяет распаралеливать вот так вычисления, то прийдется делать что-то подобное с контейнерами

0

12.08.2021

Alexander Fedorenko

Никто не знает, хватило ли бы ваших 16 ядер или нет. Только факты, а не предположения)

0

12.08.2021

Ivan Stankov Автор вопроса

Да, хватило бы) создавать кластер в облаке для такой единоразовой (кстати да, я не планирую каждый день по 320к текстов переводить) акции —немного слишком. Запустить перевод в 16 потоков локально было бы самым удобным вариантом

0

12.08.2021

Alexander Fedorenko · Accepted Answer

Alexander Fedorenko

А такие варианты вы рассматривали https://mcs.mail.ru/easy-k8s/

0

12.08.2021

170 похожих чатов

Всем привет! Возможно, кто-то сможет подсказать: пользуюсь HelsinkiNLP для перевода

4 ответов

Похожие вопросы