скрипт с разными модулями (pytorch, tensorflow, theano, transformers и т.д.). Скрипт принимает текстовый документ, делает нужный расчёт и выплёвывает некоторые данные из этого текстового документа И есть виртуальный инвайромент с некоторым количеством GPUs где хочу этот скрипт запускать.
1) Я могу запустить этот скрипт на Spark-e? То что мельком посмотрел - такое впечатление что на спарке не получится запустить python модули. Или я не прав?
2) Я могу запустить этот скрипт используя Docker? Если да, что будет лучше, спарк или докер? В идеале вычисления хотелось бы проводить в real time и на GPUs.
1) имелось в виду, надо полагать, Apache Spark кто ж запретит-то запускать? не прав, API позволяет python 2) опять же, кто запретит. что будет лучше зависит от остальных скрытых параметров задачи. сколько и какое железо, и много чего ещё.
Обсуждают сегодня