基于知识蒸馏模型的文本情感分析

打开文本图片集

摘 要：为了解决预训练语言模型训练时间过长、参数多且难以部署，以及非预训练语言模型分类效果较差的问题，提出了基于知识蒸馏模型的文本情感分析。以预训练深度学习模型（Bidirectional Encoder Representationsfrom Transformers，BERT）作为教师模型，选择双向长短期记忆网络（Bidirectional Long Short-Term Memory，BiLSTM）作为学生模型;在知识蒸馏过程中，将教师模型的Softmax层的输出作为“知识”蒸馏给学生模型，并将蒸馏后的模型应用到公共事件网络舆情文本情感分析中。（剩余10162字）