图文语义增强的多模态命名实体识别方法

打开文本图片集

摘 要：为了解决多模态命名实体识别方法中存在的图文语义缺失、多模态表征语义不明确等问题，提出了一种图文语义增强的多模态命名实体识别方法。其中，利用多种预训练模型分别提取文本特征、字符特征、区域视觉特征、图像关键字和视觉标签，以全面描述图文数据的语义信息；采用Transformer和跨模态注意力机制，挖掘图文特征间的互补语义关系，以引导特征融合，从而生成语义补全的文本表征和语义增强的多模态表征；整合边界检测、实体类别检测和命名实体识别任务，构建了多任务标签解码器，该解码器能对输入特征进行细粒度语义解码，以提高预测特征的语义准确性；使用这个解码器对文本表征和多模态表征进行联合解码，以获得全局最优的预测标签。（剩余19149字）