0%

ID-Reveal: Identity-aware DeepFake Video Detection

主要动机:现有的方法通常在特定伪造方法的数据集上进行训练,在未见过的伪造方法数据上泛化性较差。

核心贡献:如图1所示,论文展现了一种新的鉴伪任务场景,给定一个人物的多个参考视频,判断这个人物的新视频是否伪造。利用自监督学习范式,训练了一个 ID-Reveal 模型进行人脸视频鉴伪。

ID-Reveal

该方法先利用3DMM提取一个视频中的人脸特征,再使用一个时序ID网络提取一个128维身份编码,再计算与另一个视频中身份编码的相似性,超过一定阈值即判定为同一个人物。一个人物的伪造数据由3DMM生成网络合成,与时序ID网络进行对抗训练。

My Review

  • 使用3DMM提取后的特征进行鉴伪,不会丢失很多纹理信息吗?而纹理信息是鉴伪任务的重要线索。也许正是这样做,才使得模型关注轮廓上的差异,在低质量数据集上表现更好。
  • 这种基于已知人物参考数据的鉴伪方法是一个值得探究研究点,符合实际应用场景。

References

  • [2020-12] ID-Reveal: Identity-aware DeepFake Video Detection paper