大模型出现幻觉怎么办?360首提智能体安全治理方案
360安全团队监测显示,仅OpenClaw框架累计披露漏洞82个,高危占比近四成,公网上数百万AI资产更是处于无防护状态。模型幻觉、框架漏洞与资产暴露的三重叠加,正让传统“只防外部攻击”的防线显得捉襟见肘。 在近日举办的"2026华为云畅想者大会”上,360 集团首席科学家、集团副总裁潘剑锋博士首次系统性指出:AI 智能体安全风险的本质并非只有外部攻击,而是大模型底层机制衍生的“原生不确定性”。 潘剑锋表示,传统安全的核心范式是"防御确定性威胁"——基于已知的漏洞特征和攻击模式,构建规则化的检测与响应体系。当AI从被动执行指令的工具跃升为具备自主决策能力的新型主体时,这一前提已被彻底打破。智能体的"自主性"意味着一旦遭恶意诱导,它会自主走完整个攻击链;"协同性"使得单点失陷的风险沿协作网络指数级蔓延;"演化性"则让它持续自我迭代,静态检测规则迅速过时。 潘剑锋将这种无法通过代码修补彻底消除的特性定义为"原生不确定性",并强调这并非工程缺陷,而是AI处理开放性、创造性任务的能力源泉。能力与风险同根同源,试图彻底消灭不确定性,无异于扼杀智能本身。 更值得警惕的是,在多智能体协同的复杂网络中