知识增强预训练模型

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘要：预训练模型主要从海量未标注、无结构化的数据中学习，但缺少外部知识指导，存在模型学习效率不高、模型效果不佳和知识推理能力受限等不足。如何在预训练模型中引入语言知识、世界知识等外部知识，提升模型效果以及知识记忆和推理能力是一个难题。本文从不同类型知识的引入、融合知识的方法、缓解知识遗忘的方法等角度，介绍知识增强预训练模型的发展，并以知识增强预训练模型百度文心为例，详细探讨知识增强预训练模型的原理和应用。（剩余22172字）

试读结束

目录
monitor