基于对比学习和交换融合的多模态情感检测方法

打开文本图片集

中图分类号：TP183 文献标识码：A 文章编号：2096-3998（2025）04-0069-11

摘要：针对文本和图像的多模态情感检测的融合，以及如何从多模态数据中学习与情感相关的共同特征等问题，提出了一种基于对比学习和Transformer的通道交换融合方法。首先，使用两个编码器将多模态输入映射到不同的低维空间，并通过图像转换层获取图像的最终编码，在此基础上引入单模态门控网络来过滤无关信息；其次，分别将模态信息输入到基于Transformer的通道交换融合模块中进行模态信息的交换;最后，设计了一种对比学习任务，帮助模型学习多模态数据中与情感相关的共同特征。（剩余16954字）