基于BERT-LSTM模型的航天文本分类研究

打开文本图片集

摘 要：由于现有其他模型存在无法提取文本重点部分权重等问题，导致了模型分类不准确，难以适应航天文本分类工作中繁重的工作环境。因此，在融合BERT预训练模型和LSTM神经网络模型基础上，结合多特征嵌入和多网络融合方法构建BERT-LSTM模型，使用BERT模型将输入的文本转换为词向量，然后将文本序列的词向量拼接成矩阵，之后采用不同尺寸的卷积核进行卷积操作，将得到的最大特征组成特征向量集合，再输入到Bi-LSTM层进行序列建模，并采用自注意力来捕捉全局信息中的关键信息，进一步提高关键特征在文本分类中的权重。（剩余17224字）