如何测试ChatGPT的语义理解与常识推理水平？

——兼谈大语言模型时代语言学的挑战与机会

打开文本图片集

关键词ChatGPT；大语言模型；新图灵测试；威诺格拉德模式挑战；WinoGrande数据集

一、引言：大语言模型给语言学带来的挑战与机会

照理说，语言学家应该是欢迎语言技术的进步与飞跃发展的，但是当人工智能聊天机器人ChatGPT风靡全网、风光无限时，不少语言学家又感到危机空前，因为ChatGPT等大语言模型（largelanguagemodel，LLM）在语言理解与生成方面功能强大，并且几乎绕开了当代主流的语言学理论与方法（详见Piantadosi2023）。（剩余20618字）