基于预训练模型融合深层特征词向量的中文文本分类

打开文本图片集

摘要：为解决传统模型表示出的词向量存在序列、上下文、语法、语义以及深层次的信息表示不明的情况，提出一种基于预训练模型（ Roberta）融合深层特征詞向量的深度神经网络模型，处理中文文本分类的问题。通过Roberta模型生成含有上下文语义、语法信息的句子向量和含有句子结构特征的词向量，使用DPCNN模型和改进门控模型（RGRU）对词向量进行特征提取和融合，得到含有深层结构和局部信息的特征词向量，将句子向量与特征词向量融合在一起得到新向量。（剩余12676字）

网站仅支持在线阅读（不支持PDF下载），如需保存文章，可以选择【打印】保存。