DCGAN

本文主要是解决 GAN 训练的不稳定性问题,亮点如下:

  • 提出 DCGAN,对卷积 GAN 的拓扑结构进行约束,帮助训练更加稳定;
  • 将判别模型 D 应用到分类任务,具有和其他无监督方法可比较的结果;
  • 发现生成器具备了“向量运算”的神奇性质,类似于word embedding可以操纵向量,并且能够按照“语义”生成新内容。

Architectrure

训练稳定的 DCGAN 的纲要:

  • 判别模型使用 strided 卷积替代池化层,生成模型使用 fractional-strided 卷积(反卷积)替代池化层,让网络学习空间上的降采样;
  • 再判别模型和生成模型使用 BN 进行批量归一化处理,能够防止模型永远只能输出相同的样本;
  • 使用 global average pooling 替换卷积特征之后的全连接层,虽然会影响收敛速度但能增加模型的稳定性;
  • 对于生成模型,在输出层使用 Tanh 激活函数,其余层使用 ReLU;
  • 对于判别模型,每一层都使用 LeakyReLU。


图1 DCGAN generator

如图 1 所示,是 DCGAN 中的生成模型,使用全反卷积网络。

点评:并未特别大的创新,更多的是一些实验技巧。

参考资料

请作者吃酒!