0%

Face Forgery Detection by 3D Decomposition

自动化所雷震老师团队的工作,主要是引入人脸的3D重建中的信息辅助人脸鉴伪。

核心动机:Introduction 介绍了一堆,但没有get到点,应该是说光照信息和纹理信息对人脸有一定的帮助,所以就这么做了。

主要贡献:1)用 3DFFA 对人脸进行分解,提取 direct light 和 identity texture 信息,如图1所示;2)提出一个双流模型,同时输入RGB空间和前面提取的信息进行鉴伪。

双流鉴伪模型

双流鉴伪模型的设计很基本,中间加了个注意力层,分别有三种融合方式:Score,Feature 和 Halfway 融合。

实验

  • 表1实验各种解构后的特征组合对鉴伪的效果;
  • 表2证明了双流模型的有效性;
  • 表3做了注意力机制的消融实验;
  • 表4是解构特征的一些正则操作的消融实验;
  • 表5,6是和其他方法的比较,比较困惑的是,论文中的其他方法的数据应该是自己跑的,但是没有详细说是怎么做的,说服力有点不够。

My Review

  • 和其他方法的比较不能够令人信服,需要进一步联系作者了解一下;
  • 测试时,对于有些不能重构的人脸是如何处理的?

References

  • [2020-11] Face Forgery Detection by 3D Decomposition paper