基于BERT与注意力机制的方面级隐式情感分析模型
DOI:
作者:
作者单位:

南京信息工程大学 自动化学院

作者简介:

通讯作者:

中图分类号:

TP391

基金项目:

国家自然科学基金(No.61273229、No.51705260);江苏省青蓝工程资助。


Aspect-based implicit sentiment analysis model based on BERT and attention mechanism
Author:
Affiliation:

Automation Institute,Nanjing University of Information Science Technology

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    在方面级情感文本中存在着相当一部分不含情感词的评论句,对其情感的研究被称为方面级隐式情感分析。现有模型存在着在预训练过程中可能会丢失与方面词相关的上下文信息,并且不能准确提取上下文中深层特征的问题。针对第一个问题,本文构造了方面词感知BERT预训练模型,通过将方面词引入到基础BERT的输入嵌入结构中,生成与方面词信息相关的词向量。针对第二个问题,本文构造了语境感知注意力机制,对由编码层得到的深层隐藏向量,将其中的语义和句法信息引入到注意力权重计算过程,使注意力机制能更加准确地分配权重到与方面词相关的上下文。在对比实验上的结果表明,本文模型的效果是优于基线模型的。

    Abstract:

    There are quite a few comment sentences without emotional words in aspect-level emotional texts, and the study of their emotions is called aspect-level implicit emotional analysis. The existing models have the problems that the context information related to aspect words may be lost in the pre-training process, and the deep features in the context cannot be accurately extracted. Aiming at the first problem, this paper constructs a aspect-aware BERT pre-training model, and introduces aspect words into the input embedding structure of basic BERT to generate word vectors related to aspect words. Aiming at the second problem, this paper constructs a context-aware attention mechanism. For the deep hidden vectors obtained from the coding layer, the semantic and syntactic information is introduced into the attention weight calculation process, so that the attention mechanism can more accurately assign the weight to the context related to aspect words. The results of comparative experiments show that the effect of this model is better than that of the baseline model.

    参考文献
    相似文献
    引证文献
引用本文
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-09-14
  • 最后修改日期:2022-10-01
  • 录用日期:2022-11-07
  • 在线发布日期:
  • 出版日期:

地址:江苏南京,宁六路219号,南京信息工程大学    邮编:210044

联系电话:025-58731025    E-mail:nxdxb@nuist.edu.cn

南京信息工程大学学报 ® 2022 版权所有  技术支持:北京勤云科技发展有限公司