面向大语言模型应用的数据服务平台研究

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘要：大语言模型应用效果依赖于高质量数据，从原始语料构建训练数据集和检索增强知识的过程中，端到端的数据管理和处理变得至关重要。当前数据服务面临着因数据处理质量差而影响大语言模型应用效果、数据准备效率低、实现的高复杂性和高成本等问题。为解决这些问题，文章提出一种面向大语言模型的数据协同服务方案，对原始语料、数据集和知识处理进行有效协同，基于算子可视化编排的自动化处理技术和跨平台统一计算调度框架，设计实现了一种端到端数据服务平台，能有效满足各类大语言模型应用对于数据的不同需求。（剩余13257字）

试读结束

目录
monitor