CycleGAN

Pix2Pix 是解决拥有成对数据的 条件下的图像翻译任务,在现实中,不成对的数据较多,CycleGAN 考虑的是在成对数据的条件下两个集合间的图像翻译任务。



Contributions

论文最大的亮点就是启发于对偶学习,提出
“cycle consistent”, 可以使得不成对的数据得出和 pair 相似的结果。

Architectures

CycleGAN 拥有两个生成网络 $G,F$,和两个判别网络 $D_X,D_Y$结构如下:



Objective Function

G 的对抗损失:
$$
\mathcal{L}_{GAN}(G,D_Y,X,Y)=\mathbb{E}_{y \sim p_{data}(y)}[\log D_Y(y)] + \mathbb{E}_{x \sim p_{data}(x)}[\log (1-D_Y(G(x)))]
$$
F 的对抗损失也同上类似。

Cycle Consistency Loss:
$$
\mathcal{L}_{cyc}(G,F)=\mathbb{E}_{x \sim p_{data}(x)}[||F(G(x)-x||_1]+ \mathbb{E}_{y \sim p_{data}(y)}[||G(F(y)-y||_1]
$$
最终的损失就是三者的权重之和。

Discussion

CycleGAN 在几何形变上的效果不好,参加论文中的实例,需要两者的域在语义上基本一致,比如斑马和马,而不能是猫和狗。虽然说是无监督,这样结构上的隐约束,也起到了监督作用。

使用两对网络去训练,有点复杂,能不能一个网络就搞定?

Authors

Pix2Pix 同一帮作者。

Berkeley AI Research (BAIR) Laboratory, UC Berkeley

References

请作者吃酒!