基于时序感知DAG的多模态对话情绪识别模型

打开文本图片集

摘 要：针对现有对话情绪识别方法中对时序信息、话语者信息、多模态信息利用不充分的问题，提出了一个时序信息感知的多模态有向无环图模型（MTDAG）。其中所设计的时序感知单元能按照时间顺序优化话语权重设置，并收集历史情绪线索，实现基于近因效应下对时序信息和历史信息更有效的利用；设计的上下文和话语者信息融合模块，通过提取上下文语境和话语者自语境的深度联合信息实现对话语者信息的充分利用；通过设置DAG（directed acyclic graph）子图捕获多模态信息并约束交互方向的方式，在减少噪声引入的基础上充分利用多模态信息。（剩余21048字）