Ko-LLaMA：基于LLaMA的朝鲜语大语言模型

  • 打印
  • 收藏
收藏成功
微博 QQ空间 微信


打开文本图片集

提 要：在本文中，我们通过扩展LLaMA现有的词表，增加额外的20，000个朝鲜语Token，从而提高其对朝鲜语的编码和语义理解的能力；并且进一步使用朝鲜语数据进行继续预训练，使用朝鲜语指令微调数据集对模型进行SFT（Supervised Fine-Tuning），并分析不同数据量对指令精调效果的影响，经过继续预训练和指令微调后的模型显著提高了理解和遵循朝鲜语指令的能力。（剩余15089字）

试读结束

目录
monitor