У меня тут был кейс с докером, который меня буквально

Question

У меня тут был кейс с докером, который меня буквально

вымотал за два месяца. я наверное тупой, но я устал с этим бодаться. итак, кейс. У сервера jitsi есть компонент jibri - эта штука позволяет записывать видеоконференции довольно черезочковым способом: службе jibri выдается секрет, она запускает безгуевый хром и при помощи этого секрета подключается к конфе невидимым участником. После чего запускается ffmpeg, который пишет невидимое окно хрома со всем внутри происходящим. Чтобы можно было записывать несколько сессий одновременно, нужно запустить пять таких служб. Я их поднял в контейнерах. Теперь перехожу к сути: у ffmpeg есть одна ебучая особенность: он начинает складывать кадры в память, если не успевает кодировать налету, либо что-то с кодированием идет не так. У меня в принципе могут запускать до пяти записей одновременно. В какой-то момент (закономерность я не отследил), один из ffmpeg-ов начинает жрать CPU, остальные ffmpegи перестают успевать что-либо писать, складывают все в оперативную память, она очень быстро заканчивается, после чего приходит OOM и все процессы убивает к хуям. В итоге ползатели ноют, все ноют, собесы и презы в ВКС не записываются и вообще все плохо. Как изолировать процессы внутри каждого контейнера, ограничив им CPU и оперативную память?

#devops #programming #russian #system-administration

0

08.06.2023

16 ответов

21 просмотр

Михаил Смирнов Автор вопроса

Dupe
docker run --memory=2g --memory-swap=2g --memory-s...

а CPU? я виртуалке выделил 48 виртуальных ядер. в итоге по мониторингу дело до ходит до 50% нагрузки, потом память, потом все знают...

0

08.06.2023

Андрей

Михаил Смирнов
а CPU? я виртуалке выделил 48 виртуальных ядер. в ...

https://docs.docker.com/config/containers/resource_constraints/

0

08.06.2023

Илья Щербаков

Мы тупые и не сможем помочь:(

0

08.06.2023

Михаил Смирнов Автор вопроса

Андрей
https://docs.docker.com/config/containers/resource...

о, спосебо. я действительно туповат

0

08.06.2023

Dupe

Михаил Смирнов
а CPU? я виртуалке выделил 48 виртуальных ядер. в ...

Cpus=1

0

08.06.2023

🥓 Хамон Эврибади

пропатчь ffmpeg, шо ты как не девопс

0

08.06.2023

Михаил Смирнов Автор вопроса

🥓 Хамон Эврибади
пропатчь ffmpeg, шо ты как не девопс

ооо, в гитхабе jitsi meet по поводу ffmpeg висит issue с 2020 года, один из самых популярных по количеству ответов. кому-то помогает откат версии ffmpeg, кому-то компилирование с какими-то ябучими ключами некоторых нестабильных версий, но проблема глобально не решается

0

08.06.2023

🥓 Хамон Эврибади

Михаил Смирнов
ооо, в гитхабе jitsi meet по поводу ffmpeg висит i...

https://hub.docker.com/r/altproject/docker-headless-vnc-chrome и писать сам vnc

0

08.06.2023

Михаил Смирнов Автор вопроса

🥓 Хамон Эврибади
https://hub.docker.com/r/altproject/docker-headles...

jibri - это уже написанная служба, которая запускает ffmpeg с уже захардкоженными ключами.

0

08.06.2023

Trot

Михаил Смирнов
jibri - это уже написанная служба, которая запуска...

Реверсинжайн?

0

08.06.2023

Андрей

Михаил Смирнов
jibri - это уже написанная служба, которая запуска...

Насильно глушить её ffmpeg и запускать свой?

0

08.06.2023

Roman V

Эээм? https://docs.docker.com/config/containers/resource_constraints/ но вообще софтина конечно должна осознавать что у нее лимиты cgroups навешаны

0

08.06.2023

Михаил Смирнов Автор вопроса

Андрей
Насильно глушить её ffmpeg и запускать свой?

там были некоторые умельцы, которые через алиас подсовывали свой sh-скрипт, где через sed поменяли захардкоженные ключи запуска для ffmpeg. Мне как-то жалко на это времени уже

0

08.06.2023

Evgеnу Martynenko

Михаил Смирнов
там были некоторые умельцы, которые через алиас по...

А форкнуть на Гите и переписать в исходниках?

0

09.06.2023

Trot

Evgеnу Martynenko
А форкнуть на Гите и переписать в исходниках?

Жень, он же молодой. Там какое-то самописное, от слова совсем

0

09.06.2023