论文笔记 Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression
Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression
该文献采用一个新型的VRN网络对任意的面部姿势和表情的2D图片进行3D面部重建，并绕过3D可变模型的构造（在训练期间）和拟合（在测试期间）。
volumetric representation
文献中是通过CNN回归来预测3D面部的顶点，直接对所有的3D面部点进行预测的话不利于VRN的学习。该文献中将mesh转换为voxel,变成一个192*192*200的矩阵。这样就比较适合CNN。我们先看看mesh和voxel的区别：下面的第一张图是mesh，可以看出就是一个曲面；第二张是voxel，可以看出人脸是由很多个立方体构成的。
作者给出了voxel转成obj的脚本，运行出来是这样的：
这是一个封闭的曲面。这就有个问题了，由CNN预测出来的3D人脸的顶点是不固定的，也就是我们还需要进行一步对齐，将一个固定顶点的模板对齐到CNN预测出来的3D人脸。mesh转voxel可以用binvox这个工具。
Volumetric Regression Networks(VRN)
该网络由两个Hourglass Networks构成（HN网络），两个NH的结构类似，第二个NH对第一个NH的输出进行优化。
[...这里有一些插图待处理..]
论文提出了三种方案，第一种是直接从图片重建，第二种是加入了人脸特征点，第三种是多任务（重建+人脸特征点预测）。效果最好的是第二种方法。
Reference:
[1] https://blog.csdn.net/linmingan/article/details/79359218
优质内容筛选与推荐>>1、三角洲调平说明
2、贪心小总结
3、25. K 个一组翻转链表
4、【SSH进阶之路】Spring的AOP逐层深入——AOP的基本原理(六)
5、实训第十三天