基于注意力特征提取网络的图像描述生成算法
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家自然科学基金(61772083,6153 2006,61877006,61802028);广西科技重大专项(桂科AA18118054)


Image caption algorithm based on an attention image feature extraction network
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    针对解决图像描述生成中对浅层图像特征利用不充分、图像目标间关系提取不足的问题,提出一种基于注意力图像特征提取的图像描述生成算法.通过语言模型上下文信息对不同深度图像特征进行自适应注意力权重分配,使带有注意力的图像特征参与指导图像描述生成,提升了图像描述生成的效果.在MSCOCO测试集中所提算法的BLEU-1和CIDEr得分分别达到0.752和0.934,从而验证了所提算法的有效性.

    Abstract:

    To solve the problem of the lack of use of shallow image features in image captions and insufficient extraction of image objects,an image caption generation algorithm based on attention image feature extraction is proposed.Through context information of a language model,adaptive attention weight assignment is performed on different depth image features to ensure that the attention-grabbing image features guide the image caption generation,thereby improving the image caption effect.In the MSCOCO test set,the BLEU-1 and CIDEr scores of the proposed algorithm reached 0.752 and 0.934,respectively,thus verifying the effectiveness of the proposed method.

    参考文献
    相似文献
    引证文献
引用本文

李金轩,杜军平,周南.基于注意力特征提取网络的图像描述生成算法[J].南京信息工程大学学报(自然科学版),2019,11(3):295-301
LI Jinxuan, DU Junping, ZHOU Nan. Image caption algorithm based on an attention image feature extraction network[J]. Journal of Nanjing University of Information Science & Technology, 2019,11(3):295-301

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2019-05-16
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2019-08-06
  • 出版日期:

地址:江苏省南京市宁六路219号    邮编:210044

联系电话:025-58731025    E-mail:nxdxb@nuist.edu.cn

南京信息工程大学学报 ® 2024 版权所有  技术支持:北京勤云科技发展有限公司