基于XLNet和多粒度对比学习的新闻主题文本分类方法

打开文本图片集

摘要： 新闻主题文本内容简短却含义丰富，传统方法通常只考虑词粒度或句粒度向量中的一种进行研究，未能充分利用新闻主题文本不同粒度向量之间的关联信息。为深入挖掘文本的词向量和句向量间的依赖关系，提出一种基于XLNet和多粒度特征对比学习的新闻主题分类方法。首先，利用XLNet对新闻主题文本进行特征提取获得文本中词、句粒度的特征表示和潜在空间关系；然后，通过对比学习R-Drop策略生成不同粒度特征的正负样本对，以一定权重对文本的词向量-词向量、词向量-句向量和句向量-句向量进行特征相似度学习，使模型深入挖掘出字符属性和语句属性之间的关联信息，提升模型的表达能力。（剩余14835字）