自然语言处理技术发展

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘要：基于神经网络和深度学习的预训练语言模型为自然语言处理技术带来了突破性发展。基于自注意力机制的Transformer模型是预训练语言模型的基础。GPT、BERT、XLNet等大规模预训练语言模型均基于Transformer模型进行堆叠和优化。认为目前依赖强大算力和海量数据的大规模预训练语言模型存在实用问题，指出轻量预训练语言模型是未来重要的发展方向。（剩余12951字）

试读结束

目录
monitor
客服机器人