局部-全局特征引导的图文多级关系分析与挖掘方法

  • 打印
  • 收藏
收藏成功


打开文本图片集

摘 要:具有语义相关性的文本、图像数据往往具有互补性,可以从不同角度增强语义理解,因此,图文语义关系挖掘是图文数据得以充分利用的关键。为解决图文数据深层语义关系挖掘不充分、检索阶段预测不精准的问题,本文提出了一种局部-全局特征引导的多级关系分析与挖掘方法。采用多头自注意力机制的Transformer建模图像关系,构建图像引导的文本注意力模块,挖掘图像区域和全局文本间的细粒度关系,融合局部-全局特征有效增强图文数据的语义关系。(剩余15554字)

monitor