Коллеги, помогите советом. Я собрался завернуть небольшую модельку в docker

Question

Коллеги, помогите советом. Я собрался завернуть небольшую модельку в docker

и хочу её дергать по какой-то API.

Сейчас на этапе изучения best practice понял, что мне надо сделать 3 контейнера внутри docker-compose:
1. Сама API-шка, которая будет принимать запрос и класть параметры в Redis (а потом доставать оттуда результат)
2. Redis как хранилище (потому что есть встроенное протухание, чтоб если никто не придет за результатом - он самоуничтожался через какое-то время)
3. Контейнер с моделькой, на основе tensorflow. Он будет постоянно в режиме ожидания появления данных в redis, чтоб обработать их и положить рядом обратно как результат (чтоб 1й контейнер мог забрать их).

Между собой предполагаю, что они будут общаться через прокинутые порты/общий network.

На этапе тестирования я как раз делал 3й вариант, чтоб гонять в ручном режиме. И запускал всё через:
sudo docker run --gpus all -it -v ~/projects:/projects --rm tensorflow/tensorflow:1.15.0-gpu-py3 bash

ну и уже в bash запускал всё что нужно, сейчас не проблема перекинуть эти действия в Dockerfile, но!

На сколько я понял - docker-compose в данный момент не умеет прокидывать GPU (https://github.com/docker/compose/issues/6691). Есть какие-то кастомные PR, которые якобы решают эту проблему, но они не смержены в мастер ветки docker-compose и docker-py.

Как вообще решать эту задачу?
Сделать docker-compose.yml для первых двух контейнеров, а 3й (с моделькой и GPU) - запускать ручками?

#database #programming #russian #software

0

29.02.2020

1 ответов

10 просмотров

toriningen · Accepted Answer

toriningen

можно забутстрапить. сделать 4-й контейнер, в который прокинуть /var/run/docker.sock, этот контейнер описать в compose

0

29.02.2020

215 похожих чатов

Коллеги, помогите советом. Я собрался завернуть небольшую модельку в docker

1 ответов

Похожие вопросы