鹏程·盘古：大规模自回归中文预训练语言模型及应用

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘要：在鹏城云脑Ⅱ上训练了全球首个拥有全开源2 000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据，采用全场景人工智能计算框架MindSpore自动并行技术实现了五维并行训练策略，从而可将训练任务高效扩展到4 096个处理器上。对比实验表明，在少样本或零样本情况下，鹏程·盘古模型在多个中文自然语言理解或生成任务上都具有较优的性能。（剩余19084字）

试读结束

目录
monitor