Доброго вечера. Есть вопрос по предопределению GAN (conditioning): у меня

Question

Доброго вечера. Есть вопрос по предопределению GAN (conditioning): у меня

есть генератор, который генерирует изображения, используя данные тепловой карты позы.
Нужно как-то доработать дискриминатор так, чтобы он тоже принимал данные о тепловой карте.
В результате нужно получить такую модель, в которой один стилевой вектор может давать изображения в различных позах, в зависимости от того, какой тепловой картой он сопровождается на входе.

Для примера можно взять официальную имплементацию https://github.com/NVlabs/stylegan2-ada-pytorch/blob/main/training/networks.py
Здесь предопределение осуществляется на основе простых классовых лейблов:
# Conditioning.
if self.cmap_dim > 0:
misc.assert_shape(cmap, [None, self.cmap_dim])
x = (x * cmap).sum(dim=1, keepdim=True) * (1 / np.sqrt(self.cmap_dim))
Как можно сделать так, чтобы предопределение использовало полноценную тепловую карту с измерениями вида [batch_size, 17, 64, 64]?

#database #programming #russian #software

0

25.07.2021

1 ответов

8 просмотров

Дмитрий Симаков · Accepted Answer

Дмитрий Симаков

А зачем менять дискриминатор? Задача звучит как обычный pix2pix.

0

25.07.2021

215 похожих чатов

Доброго вечера. Есть вопрос по предопределению GAN (conditioning): у меня

1 ответов

Похожие вопросы