基于跨模态注意力融合的煤炭异物检测方法

打开文本图片集

摘要：为解决原煤智能化洗选过程中煤流中夹杂的异物对比度低、相互遮挡导致异物图像检测时特征提取不充分的问题，提出了一种基于跨模态注意力融合的煤炭异物检测方法。通过引入Depth图像构建RGB图像与Depth图像的双特征金字塔网络（DFPN），采用浅层的特征提取策略提取Depth图像的低级特征，用深度边缘与深度纹理等基础特征辅助RGB图像深层特征，以有效获得2种特征的互补信息，从而丰富异物特征的空间与边缘信息，提高检测精度；构建了基于坐标注意力与改进空间注意力的跨模态注意力融合模块（CAFM），以协同优化并融合RGB特征与Depth特征，增强网络对特征图中被遮挡异物可见部分的关注度，提高被遮挡异物检测精度；使用区域卷积神经网络（R-CNN）输出煤炭异物的分类、回归与分割结果。（剩余15577字）