基于特征对齐融合的双波段图像描述生成方法

打开文本图片集

摘  要： 为了获得更准确、全面的现场信息，采用红外和可见光同步成像探测复杂场景已成为常态，但现有图像描述研究仍集中于可见光图像，无法全面而准确地描述已探测到的场景信息。为此，文中提出一种基于特征对齐融合的可见光⁃红外双波段图像描述生成方法。首先，利用Faster⁃RCNN分别提取可见光图像的区域特征和红外图像的网格特征；其次，以Transformer为基本架构，在可见光⁃红外图像对齐融合（VIIAF）编码器中引入位置信息做桥接，进行可见光⁃红外图像特征的对齐与融合；接着，将融合得到的视觉信息输入Transformer解码器中得到粗粒度文本的隐藏状态；最后将编码器输出的视觉信息、解码器得到的隐藏状态与经训练的Bert输出的语言信息输入所设计的自适应模块，使视觉信息和语言信息参与文本预测，实现文本由粗到细的图像描述。（剩余13201字）