如何对智能体进行有效的安全风险管控

  • 打印
  • 收藏
收藏成功


打开文本图片集

鲁传颖:智能体的风险可以从两个维度进行探讨。第一个维度是智能体自身特有的安全风险。一是行动风险。大模型的错误可能仅限于“胡说八道”,但智能体具备自主执行任务的能力,一旦犯错,就可能“做错事”。例如,已有案例显示智能体错误地删除关键文件、邮件或重要数据,以及滥用数据库工具进行非预期的批量操作。许多看似无害的操作,可能引发灾难性后果。(剩余2872字)

monitor
客服机器人