Кто нибудь параллелил цикл обучения с подкреплением? Есть ли эффективный способ

Question

Big Data Science :: AI / Big Data / Machine Learning / MLOps

Кто нибудь параллелил цикл обучения с подкреплением? Есть ли эффективный способ

разделения ресурсов, в частности самой модели? Пробовал 2 подхода использую pqdm.threads.pqdm - скопировать для каждой итерации (игры) инстанс окружения, но оставить общую ссылку на модель для предсказания экшенов, работает по скорости примерно как и без параллелизма из-за GIL. Второй - копировать и окружение и модель для каждой итерации(игры). Пробовал tf.keras.models.clone_model, работает, но по скорости хуже в два раза, чем без параллелизма (4 воркера), пробовал copy.deepcopy, не работает, ловлю AssertionError на предикте

#database #programming #russian #software

0

17.11.2021

2 ответов

8 просмотров

Сергей Васильев Автор вопроса

oles
А у модели есть память куда складывается прошлый о...

метод модели fit() возвращает объект с историей метрик, но он вызывается вне параллельной секции. Примерно выглядит так while True: # цикл обучения ... for _ in range(game_per_epoch): # цикл который нужно параллелить for step in range(steps_per_game): # тут находится model.predict() .... # end step ... # end game # end games ... model.fit()

0

17.11.2021

oles · Accepted Answer

oles

А у модели есть память куда складывается прошлый опыт?

0

17.11.2021

215 похожих чатов

Кто нибудь параллелил цикл обучения с подкреплением? Есть ли эффективный способ

2 ответов

Похожие вопросы