融合MacBERT和Talking⁃Heads Attention实体关系联合抽取模型

打开文本图片集

摘  要： 针对现有的医学文本关系抽取任务模型在训练过程中存在语义理解能力不足，可能导致关系抽取的效果不尽人意的问题，文中提出一种融合MacBERT和Talking⁃Heads Attention的实体关系联合抽取模型。该模型首先利用MacBERT语言模型来获取动态字向量表达，MacBERT作为改进的BERT模型，能够减少预训练和微调阶段之间的差异，从而提高模型的泛化能力；然后，将这些动态字向量表达输入到双向门控循环单元（BiGRU）中，以便提取文本的上下文特征。（剩余11367字）