基于模态信息交互的多模态情感分析
打开文本图片集
摘 要：基于全局语义交互的粗粒度注意力机制不能有效利用各模态间的语义关联提取到模态信息中的关键部分，从而影响分类结果。针对这个问题提出了一个模态信息交互模型MII（modal information interaction），通过细粒度注意力机制提取模态的局部语义关联特征并用于情感分类。首先，模态内信息交互模块用于构建模态内的联系并生成模态内交互特征，随后模态间信息交互模块利用图像（文本）的模态内交互特征生成门控向量来关注文本（图像）中相关联的部分，从而得到模态间的交互特征。（剩余14132字）