一种基于语音、文本和表情的多模态情感识别算法

打开文本图片集

摘要 针对当前多模态情感识别算法在模态特征提取、模态间信息融合等方面存在识别准确率偏低、泛化能力较差的问题，提出了一种基于语音、文本和表情的多模态情感识别算法。首先，设计了一种浅层特征提取网络（Sfen）和并行卷积模块（Pconv）提取语音和文本中的情感特征，通过改进的Inception-ResnetV2模型提取视频序列中的表情情感特征;其次，为强化模态间的关联性，设计了一种用于优化语音和文本特征融合的交叉注意力模块;最后，利用基于注意力的双向长短期记忆（BiLSTM based on attention mechanism，BiLSTM-Attention）模块关注重点信息，保持模态信息之间的时序相关性。（剩余19994字）