基于空间注意力图的知识蒸馏算法
打开文本图片集
摘 要：知识蒸馏算法对深度神经网络的精简具有很大的推动作用。当前基于特征的知识蒸馏算法或只关注单个部分进行改进，忽视了其他有益部分，或是对小模型应重点关注的部分提供有效指导，这使得蒸馏的效果有所欠缺。为了充分利用大模型的有益信息并处理，以提升小模型知识转换率，提出一种新型蒸馏算法。该算法首先使用条件概率分布对大模型中间层进行特征空间分布拟合，提取拟合后趋于相似的空间注意力图，将其与其他有益信息一起，通过用于缩小模型间差距的小型卷积层，将转换后的信息传递给小模型，实现蒸馏。（剩余16367字）
