基于知识增强的跨模态融合网络的多模态对话情绪识别模型

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘 要：针对未充分利用模态表征能力的差异和说话者情绪线索的问题，提出了一种基于知识增强的跨模态融合网络模型。该模型设计了外部知识增强的跨模态模块，将较弱模态特征与多层次文本和外部知识逐层融合嵌入到多头注意力层中，充分挖掘较弱模态中的有效信息，实现模态间的特征互补和一致性。此外，模型还设计了基于有向图的情绪线索增强模块，利用基于说话者不同情绪线索的外部知识来增强融合特征，并构建上下文信息有向图，深入挖掘并利用说话者的情绪线索。（剩余17744字）

试读结束

目录
monitor