稀疏数据下结合词向量的短文本分类模型研究

打开文本图片集

摘 要：针对短文本缺乏足够共现信息所产生的词与词之间弱连接，且难以获取主题词的情况，导致面向短文本分类工作需要人工标注大量的训练样本，以及产生特征稀疏和维度爆炸的问题，提出了一种基于注意力机制和标签图的单词共生短文本分类模型（WGA-BERT）。首先利用预先训练好的BERT模型计算上下文感知的文本表示，并使用WNTM对每个单词的潜在单词组分布进行建模，以获取主题扩展特征向量；其次提出了一种标签图构造方法捕获主题词的结构和相关性；最后，提出了一种注意力机制建立主题词之间，以及主题词和文本之间的联系，解决了数据稀疏性和主题文本异构性的问题。（剩余17404字）