基于双路径投影层和注意力机制的知识蒸馏

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘 要：现有的知识蒸馏技术主要集中于知识表示、目标损失函数和蒸馏位置的选择，而忽视了特征对齐和融合的重要性，从而限制了学生模型的学习能力。为此，提出了一种基于双路径投影层和注意力机制的知识蒸馏方法。该方法首先在空间维度上对齐学生和教师模型的特征，通过双路径投影层在通道维度上对齐师生特征。同时，添加一个集成注意力机制的适配器模块，以确保多尺度特征的均衡融合。（剩余19967字）

试读结束

目录
monitor