电力领域自然语言理解模型的轻量化研究

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘 要：针对电力领域指标问答的应用需求问题，研究能够平衡性能、计算资源消耗与推理时间的自然语言理解模型。提出了在知识蒸馏的轻量化过程中融入提前停止机制的方法，利用教师模型训练学生模型时，在每层编码加入“耐心早退”机制，使得不同复杂度的样本使用不同层数的编码提取特征，减少了学生模型容易出现的过拟合问题，同时控制了模型的推理时间。（剩余13195字）

试读结束

目录
monitor