基于申威CPU的大型语言模型推理研究与应用

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

摘 要：目前，ChatGPT、LLaMA、Gemini等大型语言模型已取得了显著突破，对自然语言处理领域产生了深远影响。然而，这些模型通常拥有数百亿甚至数千亿个参数，在部署时对计算资源和存储需求极高，导致其在计算资源有限的平台上难以应用。为此，介绍了当前主流的模型压缩方法，并结合llama.cpp项目，提出了一种在申威平台上利用纯CPU进行大型语言模型部署的方案。（剩余9250字）

试读结束

目录
monitor