BERT编码与注意力机制结合的长文本分类研究

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘  要： 预训练语言模型具有强大的特征表达能力但无法直接应用于长文本。为此，提出分层特征提取方法。在BERT允许的最大序列长度范围内按句子的自然边界分割文本，应用自注意力机制获得首块和尾块的增强特征，再利用PCA算法进行压缩获取主要特征成分。在THUCNews和Sogou数据集上进行5折交叉验证，分类准确率和加权F1-score的均值分别达到95.29%、95.28%和89.68%、89.69%。（剩余7480字）

试读结束

目录
monitor
客服机器人