基于图像相对位置和负向感知的图文匹配

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘  要： 图文匹配任务在计算机视觉以及多模态信息处理领域引起了广泛关注。这一跨模态任务主要难点在于如何高效地提取视觉和文本的信息以及如何解决不一致图文冲突问题。文中提出了一种新颖的图像文本匹配方法，利用图像对象相对位置的注意力机制解决忽视图像中物体相对位置信息的问题，从而更好地关注视觉信息的提取，同时为了解决忽视图像⁃文本间不对齐内容相似度贡献的问题，运用了负向感知模块关注物体相对位置和文本中的单词非对齐的信息对相似度的负贡献，从而提高图像⁃文本匹配相似度的准确性。（剩余12745字）

试读结束

目录
monitor