基于多视图关注网络的图文多模态情感分析模型

打开文本图片集

摘  要： 针对现有多模态情感分类模型无法全面、准确地捕获复杂的情感信息，以及融合过程中没有充分挖掘两者之间的潜在关联，导致模型结构冗余复杂、计算效率低下的问题，提出一种多视图关注网络（MPF⁃Net）模型。该模型通过引入多维感知特征捕获机制，全面而精确地获取图像和文本中蕴含的情感信息；其次，采用增强的记忆互动学习机制，使模型能够更加有效地提取和融合单模态特征，并在多轮迭代中不断更新和优化这些特征，从而捕捉到更深层次的情感细节；再构建一个高级深度学习框架，该框架采用生成对抗网络（GAN）与池化技术的深度融合单元，以实现复杂数据特征的高效提取与整合；最后，在保留原有特征信息的基础上进行特征整合，同时通过降维技术降低模型的复杂性，提高计算效率。（剩余13047字）