基于跨模态多维关系增强的多模态模型研究

  • 打印
  • 收藏
收藏成功


打开文本图片集

摘 要:针对当前多模态模型不能充分挖掘图像中非显著区域的空间关系和上下文间的语义关系,导致多模态关系推理效果不佳的问题,提出了一个基于跨模态多维关系增强的多模态模型(multi-dimensional relationship enhancement model,MRE),用于提取潜层结构下图像各要素之间的空间关系信息,并推理出视觉—语言间的语义相关性。(剩余16713字)

目录
monitor