中兴通讯技术

2022年02期

收藏成功

微博空间微信

本刊创刊于1995年7月，现为双月刊。主要栏目有：通信专题，以专题讨论通信领域的热点技术，新动态，介绍国内外通信领域政策... 展开

类型

双月刊

类别

学术

定价

促销信息

全年订阅更优惠!

￥20.00 ￥12.00

原貌版试读单本购买

自然语言处理预训练模型专题导读 专题策划人郑纬民清华大学计算机系教授、中国工程院院士；长期从事高性能计算机体系结构、并行算法和系统研究；提出了可扩展的存储系统结构及轻量并行的扩展机制，发展了存储系统扩展性理论与方法，在中国率先研制并成功应用集群架构高性能计算机，在国产...
自然语言处理新范式：基于预训练模型的方法 摘要：以BERT和GPT为代表的、基于超大规模文本数据的预训练语言模型能够充分利用大模型、大数据和大计算，使几乎所有自然语言处理任务性能都得到显著提升，在一些数据集上达到甚至超过人类水平，已成为自然语言处理的新范式。认为未来自然语言处理，乃...
知识指导的预训练语言模型 摘要：作为典型的数据驱动工具，预训练语言模型（PLM）仍然面临可解释性不强、鲁棒性差等难题。如何引入人类积累的丰富知识，是改进预训练模型性能的重要方向。系统介绍知识指导的预训练语言模型的最新进展与趋势，总结知识指导的预训练语言模型的典型范式...
知识增强预训练模型 摘要：预训练模型主要从海量未标注、无结构化的数据中学习，但缺少外部知识指导，存在模型学习效率不高、模型效果不佳和知识推理能力受限等不足。如何在预训练模型中引入语言知识、世界知识等外部知识，提升模型效果以及知识记忆和推理能力是一个难题。本文从...
悟道·文澜：超大规模多模态预训练模型带来了什么？ 摘要：提出了悟道·文澜的BriVL双塔模型。该模型利用6.5亿对互联网图文数据，通过自监督的任务来训练，是目前最大的中文通用图文预训练模型。同时，还提出了悟道·文澜的多语言多模态预训练单塔模型—MLMM。实验结果证明，这...
鹏程·盘古：大规模自回归中文预训练语言模型及应用 摘要：在鹏城云脑Ⅱ上训练了全球首个拥有全开源2 000亿参数的自回归中文预训练语言大模型——鹏程·盘古。鹏程·盘古模型基于1.1 TB高质量中文训练数据，采用全场景人工智能计算框架MindSpore自动并行技术实现了五维...
超大规模多模态预训练模型M6的关键技术及产业应用 摘要：阿里巴巴达摩院研发了超大规模中文多模态预训练模型M6，并陆续推出了百亿、千亿、万亿和十万亿参数规模的预训练模型，实现了高效低碳的预训练，推动超大规模预训练模型的产业化应用。同时，推出了M6服务化平台，帮助广大用户快速使用大模型。未来，...
高效训练百万亿参数预训练模型的系统挑战和对策 摘要：随着预训练模型规模的急剧增长，训练此类模型需要海量的计算和存储能力。为此，本工作在新一代国产高性能计算机上训练了一个174万亿参数的超大规模预训练模型，模型参数量可与人脑中的突触数量相媲美。重点讨论在训练这一超大规模预训练模型中遇到的...

自然语言处理技术发展 摘要：基于神经网络和深度学习的预训练语言模型为自然语言处理技术带来了突破性发展。基于自注意力机制的Transformer模型是预训练语言模型的基础。GPT、BERT、XLNet等大规模预训练语言模型均基于Transformer模型进行堆叠和...

数字基础设施建设的思考与实践 摘要：在通往万物智联的道路上，高效的数字基础设施和可交易的数字化能力，正在成为数字经济的核心源动力。构建高效的数字基础设施，需要“从建好网到用好网”“从连接到算力”的演进；构建可交易的数字化能力，则需要“从消费到产业”“从工具到交易”的数字...
5G行业虚拟专网能力提升与实践 摘要：作为5G行业应用融合发展的必经之路，5G行业虚拟专网将持续增强行业应用专网能力，推动行业应用创新、落地及规模复制。中兴通讯从可靠性提升、服务质量（QoS）保证、网络互联、安全性提升、易运维5个方面来提升5G行业虚拟专网能力，并总结了行...