融合角色、结构和语义的口语对话预训练语言模型

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘要：口语语言理解是任务式对话系统的重要组件，预训练语言模型在口语语言理解中取得了重要突破，然而这些预训练语言模型大多是基于大规模书面文本语料。考虑到口语与书面语在结构、使用条件和表达方式上的明显差异，构建了大规模、双角色、多轮次、口语对话语料，并提出融合角色、结构和语义的四个自监督预训练任务：全词掩码、角色预测、话语内部反转预测和轮次间互换预测，通过多任务联合训练面向口语的预训练语言模型SPD-BERT（spoken dialog-BERT）。（剩余19540字）

试读结束

目录
monitor
客服机器人