基于深度三维形变的单张3D人脸重建算法
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

TP391

基金项目:

河南省科技厅科技计划(162102310 240);河南省高等学校重点科研项目(16A460013)


3D face reconstruction from single image based on deep 3D morphable model
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    三维形变模型(3DMM)作为人脸重建的重要方式,在3D建模、图像合成等领域有着广泛的应用.由于受训练数据类型、数量以及主成分等因素影响,3DMM存在过约束的现象,不能提供足够的灵活性来表示高频变形.本文将三维形变模型嵌入到深度神经网络中,为提升3D人脸重建的表示能力提供了新的思路.为了提升网络学习效率,本文构设了一种双通路神经网络,实现了在全局路径和局部路径之间的平衡.通过在学习目标和网络结构两方面改进非线性3DMM,提出了一种比线性或以往的非线性模型更能捕捉到更高层次细节的模型.算法对比与仿真实验表明,本文算法在3D人脸重建上的归一化平均误差更低,所生成的3D人脸模型鲁棒性好、重构准确,实现了较好的3D人脸重建性能.

    Abstract:

    3D morphable model (3DMM) has been widely used in 3D modeling,image synthesis and related fields.However,it is perplexed by over-constraint due to the influence from size,types,and principal components of training data,thus cannot provide enough flexibility to represent high-frequency deformation.Here,we embed the 3DMM into deep neural network to improve its representation ability in 3D face reconstruction.A dual-path neural network is constructed and improved in efficiency of network learning,which achieves balance between global path and local path.Then the nonlinear 3DMM is improved in both learning objectives and network structure,so as to capture more details than linear or previous nonlinear models.The comparison and simulation experiments show that the proposed algorithm has lower normalized average error in 3D face reconstruction,and the generated 3D face model has good robustness and accurate details.

    参考文献
    相似文献
    引证文献
引用本文

杜召彬,崔霄.基于深度三维形变的单张3D人脸重建算法[J].南京信息工程大学学报(自然科学版),2022,14(5):559-565
DU Zhaobin, CUI Xiao.3D face reconstruction from single image based on deep 3D morphable model[J]. Journal of Nanjing University of Information Science & Technology, 2022,14(5):559-565

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2021-09-25
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2022-09-29
  • 出版日期:

地址:江苏省南京市宁六路219号    邮编:210044

联系电话:025-58731025    E-mail:nxdxb@nuist.edu.cn

南京信息工程大学学报 ® 2024 版权所有  技术支持:北京勤云科技发展有限公司