基于多模态特征频域融合的零样本指称图像分割
打开文本图片集
摘 要：为了解决语义分割应用到现实世界的下游任务时无法处理未定义类别的问题，提出了指称图像分割任务。该任务根据自然语言文本的描述找到图像中对应的目标。现有方法大多使用一个跨模态解码器来融合从视觉编码器和语言编码器中独立提取的特征，但是这种方法无法有效利用图像的边缘特征且训练复杂。CLIP（contrastive language-image pre-training）是一个强大的预训练视觉语言跨模态模型，能够有效提取图像与文本特征，因此提出一种在频域融合CLIP编码后的多模态特征方法。（剩余18803字）
