Image Style Transfer Using Convolutional Neural Networks

图片风格转换就是将保留一张的图片的内容,而将其风格转换成另一张图片。Gatys 等人在2015年在文献[1]中首次提出用 CNN 来进行图片风格转化。文献[2]发表于 CVPR 2016,内容类似,并进行了一些补充实验。

在传统方法中,大多使用低层次的图片特征进行纹理转换。作者发现,在 CNN 中,不同卷积层提取的特征是不一样的,低层次描述小范围的边角、曲线,中层次描述方块、螺旋,高层次描述内容。如图1 所示:



图1 CNN 中的图片表示

算法流程

论文的核心算法思路就是提取风格中照片不同卷积层次的特征,混合目标照片较高层次的卷积层特征,实现风格转化。如图2 所示:



图2 CNN 风格转化算法

论文中使用 VGG-19 网络,其中:
内容层:conv4_2
风格层:conv1_1,conv2_1,conv3_1,conv4_1,conv5_1

算法以高斯噪声为初始输入图像,优化内容+风格的混合误差,使用反向传播算法更新噪声,最后得到的 $\vec x$ 即为最后的结果。

思考:论文中使用 Gram 矩阵表示特征之间的联系,为什么可以这样?

参考文献

请作者吃酒!