基于图神经网络多模态融合的语音情感识别模型

打开文本图片集

摘 要：目前，基于多模态融合的语音情感识别模型普遍存在无法充分利用多模态特征之间的共性和互补性、无法借助样本特征间的拓扑结构特性对样本特征进行有效地优化和聚合，以及模型复杂度过高的问题。为此，引入图神经网络，一方面在特征优化阶段，将经过图神经网络优化后的文本特征作为共享表示重构基于声学特征的邻接矩阵，使得在声学特征的拓扑结构特性中包含文本信息，达到多模态特征的融合效果；另一方面在标签预测阶段，借助图神经网络充分聚合当前节点的邻接节点所包含的相似性信息对当前节点特征进行全局优化，以提升情感识别准确率。（剩余13857字）