в Kubernetes кластере GUI-приложение с 3D рендерингом через Vulkan (игра CS:GO) в headless-режиме без монитора. На каждой ноде есть GPU, задача в том, чтобы шэрить GPU между несколькими копиями CS:GO.
В общем-то всё работает, GPU внутрь контейнера прокидывается, но есть проблема с производительностью. Если использовать Xvfb, то fps в два раза ниже чем при использовании Xorg с hardware acceleration (nvidia GLX). При этом, насколько я понял, нельзя запустить несколько копий Xorg на одной и той же видеокарте. Есть идея запустить по одному общему Xorg-серверу на хост (ноду), но ещё не разобрался как сделать разные виртуальные дисплеи. В целом этот способ мне меньше нравится чем простой и минималистичный с Xvfb, который запущен в каждом контейнере с CS:GO.
Собственно вопрос, почему fps в Vulkan-приложении зависит от используемого X-сервера? Я так понял что это как-то связано с наличием аппаратного ускорения и GLX, но с xvfb игра и так имеет доступ к GPU через Vulkan API.
фермерам здесь не место
Думаю, это из-за того, что при выводе на подключенный к ней дисплей видюха ничего отрендеренное никуда перекидывать не должна. А для "вывода" в Xvfb она должна отдавать кадры в оперативную память, где находится фреймбуфер, по PCI. И ещё не факт, что через DMA.
хм, даже не задумывался об этом)
На самом деле, я бы сказал, что идея запустить нормальный Xorg и написать свой композитный wm для перехвата картинки выглядит как-то прямее, чем Xvfb и попытка подключения к GPU через /dev/drm.
Ну, и да. nvidia — это nvidia, рассчитывать на какую-то логику в решэниях на её базе особо не приходится. Только молиться.
Я сделал в итоге общий Xorg сервер, осталось понять как для удобства дебага автоматически раскидывать окна по разным виртуальным рабочим столам, ну и какой минималистичный DE / WM выбрать для этого
Я вообще несколько сомневаюсь, что окна на невидимых виртуальных рабочих столах будут отрисовываться. Впрочем, если вы изнутри Source engine получаете картинку — то, надо думать, картинка будет. (И да, посоветую, пожалуй, fvwm2. Маленький, хорошая расшыряемость. Можно, впрочем, и ion3).
Зачем WM? Можно тогда просто запускать CSGO напрямую в Xorg и захватывать экран ffmpeg-ом.
Вообще если бы можно было запустить CS:GO без иксов, я бы с удовольствием это сделал. Поскольку запись производится не захватом экрана, а встроенной в игру тулзой (консольной командой), которая сохраняет фреймы на диск, что позволяет во-первых записывать быстрее реального времени, во-вторых без просадки фпс это делать
там же есть переменная DISPLAY, выставляй её на контейнер в номер экземпляра контейнера, даже скрипт не нужен, если правильно понял задачу
а ведь при запуске Xorg тоже нужно указывать конкретный DISPLAY )
так он же у тебя на хосте....
погьди. Какая там команда фреймы на диск пишет? Если ты про .dem-ку, то это не фреймы с картинками. Это скорее дамп сетевого обмена, причем в основном только входящего
Обсуждают сегодня