基于滤波衰减的自知识蒸馏压缩算法

  • 打印
  • 收藏
收藏成功


打开文本图片集

摘要:【目的】为了解决模型剪枝后性能损失严重的问题,提出了一种基于滤波衰减和自知识蒸馏的压缩算法。【方法】文章通过滤波衰减机制来保留冗余滤波器的信息,进而缩小剪枝前后的模型差异,降低剪枝导致的性能损耗。同时,在剪枝过程中引入一个退火衰减函数,使得滤波器的衰减呈现动态变化,进而能够快速高效地搜索模型的最佳子结构,提高模型的收敛速度。(剩余12273字)

试读结束

monitor