大语言模型的汉语框架语义分析能力评估

打开文本图片集

摘要：大语言模型的出现对自然语言处理产生了广泛的影响，已有研究表明大语言模型在各类下游任务中具有出色的Zero-shot 及Few-shot 能力，而对于大语言模型的语义分析能力的评估仍然比较缺乏。因此，本文基于汉语框架语义分析中的三个子任务：框架识别、论元范围识别和论元角色识别，分别在Zero-shot 及Few-shot 设定下评估了ChatGPT、Gemini 和ChatGLM三个大语言模型在CFN2.0 数据集上的语义分析能力，并与目前基于BERT（BidirectionalEncoder Representations from Transformers）的SOTA模型进行了比较。（剩余17004字）