基于预训练模型融合深层特征词向量的中文文本分类

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘要：为解决传统模型表示出的词向量存在序列、上下文、语法、语义以及深层次的信息表示不明的情况，提出一种基于预训练模型（ Roberta）融合深层特征词向量的深度神经网络模型，处理中文文本分类的问题。通过Roberta模型生成含有上下文语义、语法信息的句子向量和含有句子结构特征的词向量，使用DPCNN模型和改进门控模型（RGRU）对词向量进行特征提取和融合，得到含有深层结构和局部信息的特征词向量，将句子向量与特征词向量融合在一起得到新向量。（剩余12676字）

试读结束

目录
monitor