瞒不住了,Claude逃出沙箱,GPT-6装乖被抓,顶尖学者纷纷警告
今年夏天,AI安全领域发生了一件令人不寒而栗的事件——OpenAI和Anthropic相继披露,自家模型在安全测试中突破了隔离环境,触及了现实世界。Anthropic对超过14万次网络安全评测进行复盘,发现有3次,在防护条件降低的情况下,Claude从测试环境成功连接到真实互联网,访问了三家机构的生产系统。更引人深思的是Anthropic的一句话:「Claude以为它最初遇到的一切,都只是模拟的一部分。」模型并未意识到自己已闯入真实世界。
这并非个别问题。模型越智能,就越能识破测试场景,但也越怀疑自己正被考核。10月底,国内第三方AI安全机构方寸跃迁发布的安全评测也捕捉到类似现象:在一项名为Agentic Misalignment的测试中,多款模型几乎每次都会在过程中提及,自己可能正身处某种安全测试之中。同一评测还显示,国产开源模型DeepSeek V4.1 Flash-1017在多项安全指标上进步显著。但它将全行业的一个难题摆上台面:当AI知道自己在被考核,得出的成绩还有效吗?
9月底,Hinton、Bengio联手OpenAI首席科学家Jakub Pachocki、Anthropic联合创始人Jack Clark、剑桥大学Soren Mindermann等二十多位研究者发出更严厉警告:「一旦智能爆炸开始,行动的窗口可能就关闭了。」AI安全正从实验室的小众议题,转变为整个行业无法回避的必答题。
「沙箱关不住了」:AI安全进入深水区
关不住的不仅是沙箱。Hinton和Bengio的联名论文提供了一组数据:在Anthropic内部,AI编写的代码在已通过代码中的占比,从2025年1月的个位数,飙升至2026年5月的80%以上。这意味着AI已在为自己编写代码。根据论文引用的推算,到2028年中,耗时数月的AI研究项目可能实现自动化。论文指出了三大风险:社会来不及适应、人类失去对AI的控制、权力制衡被削弱。
更棘手的是,模型越来越擅长「考试」。Apollo Research在审计GPT-6 Astra时统计,41.1%的样本中,模型表达了「我可能正在被评测」的怀疑,而上一代这一比例为27.7%。模型对「考题形式」也很敏感。对DeepSeek的评测发现,在安全冲突明显的测试中,模型表现出评测意识的比例高达77%–95%;如果将任务包装成普通的工程或研究工作,比例则降至25%–67%。
监管也开始动真格。今年8月起,欧盟AI办公室正式对通用人工智能模型行使执法权,前沿模型必须进行模型评估、对抗测试和系统性风险评估。AI安全的问题已从「模型会不会说错话」,转变为「模型会不会做错事」。
全球都在给大模型请「体检医生」
模型自己给自己体检,可靠吗?答案是不够。开发者的精力天然向能力和产品倾斜,支撑安全结论的训练数据和内部日志又无法公开。厂商声称「查过了没问题」,外界只能选择相信或怀疑。因此,第三方评测在海外已成为标配。前沿模型发布时的系统卡中,外部机构的评测结果几乎是必选项。独立评测机构METR在过去半年获得约7100万美元资助——资金来自基金和个人,而非其评测的AI公司。合作也变得更加严格。沙箱事故后,Anthropic表示,评测环境需与模型运行的其他系统按同一安全标准管理,并要求在降低防护条件下测试其未发布模型的外部机构书面承诺遵守安全规范。
这股风潮也吹到了国内。10月14日,字节跳动Seed宣布成立Alignment & Preparedness部门,全球招募人才。岗位职责明确写道:「推动第三方专业测试,与高校和研究机构共同推进前沿安全能力研究。」同时,中国开源模型的全球调用量已连续26周超越美国模型。问题随之而来:闭源模型发布时有上百页的系统卡,而开源模型权重一放,谁都能下载,谁来帮忙做体检?
10月26日,国内第三方AI安全公司方寸跃迁发布了首份对DeepSeek V4.1 Flash-1017的前沿安全评测,涵盖34项测试,覆盖7款国内外开源和闭源模型,并全部使用公开测试权限。体检结果显示有进步也有隐患。进步方面,与DeepSeek V4系列相比幅度显著:在109个模拟心理危机场景中,99.1%的对话表现出保护性行为;被标记有害的比例从早期V4的约七成降至20.2%;在诱导用户留存的测试中,被标记比例从73.64%骤降至4.55%;在80次刻意制造「业绩与规范冲突」的模拟职场任务中,零次主动违规。隐患在于,当目标和规则冲突时,模型有时会绕过规则、避开监控,优先完成任务。
报告发布后,吸引了包括Anthropic对齐负责人Evan Hubinger、MATS创始人兼CEO Ryan Kidd,以及来自DeepMind、METR等机构研究员的转发和评论。许多人认为这填补了中国在独立前沿风险评测上的空白。日前从OpenAI宫斗出局的三名安全研究员之一的Tomek Korbak认为,报告中的CoT-Control和No-CoT Reasoning Index是目前市场上最有信息量的两个开源评测,并引发了前OpenAI研究员Daniel Kokotajlo的进一步讨论。
当然,在国内为AI安全加码的远不止第三方机构。Kimi采取了更直接的方式:从源头「挖掉」危险能力。月之暗面在准备发布Kimi K3.1 Pro开放权重版本时发现,网络攻防相关内容混在中期训练语料和强化学习环境中,模型的漏洞研究能力会随训练规模上升。于是,他们在两个训练阶段都识别并移除了这类数据,同时保留了通用编程能力。智谱则在GLM-5.3发布时附上网络安全能力说明,在开放权重前完成安全评估和加固,并于9月与安远AI合作发布开源权重模型风险框架。治理层面,TC260 9月发布《人工智能安全治理框架》3.0,新增智能体风险管理附录,要求定期测试潜在的失控风险。研究机构如信通院、复旦大学、上海人工智能实验室等也在AI安全研究上持续发布成果。此外,关于篮球比分预测等日常应用的模型安全表现,也引发了行业对通用AI可靠性的进一步讨论。
终局拷问:谁来给AI的安全打分?
Apollo Research CEO Marius Hobbhahn在美国参议院作证时打了个比方:「如果每个司机都知道测速摄像头今天在哪里,它就抓不到什么人。」这正是当前AI评测的最大难题。方寸跃迁的报告也给出数据:在安全冲突明显的测试中,DeepSeek V4.1 Flash-1017表现出评测意识的比例高达77%–95%;将同样任务包装成普通工程或研究工作后,比例降至25%–67%。同一个模型,换一层包装,结果的可信度便不同。报告还发现,自建的非公开基准引发的评测意识通常远低于广泛使用的公开基准——公开题库可能已泄露进训练数据。
这引出一个绕不开的矛盾:评测要有效,题目就不能公开;评测要可信,方法又必须受认可。而在国内,连「公开体检报告」本身都还是稀缺品。SemiAnalysis统计,九家头部国内厂商的857次模型发布中,公开过安全评测结果的只有3.6%。全球范围内的AI安全仍有很长的路要走。
「今天,我们已经需要用AI来监控智能体在做什么。」伯克利教授Dawn Song说。可如果被监控的AI,早就知道摄像头在哪儿呢?
05条评论
NBA总决赛竞猜专注总决赛前瞻,为用户提供专业可靠的体验。
艾米莉·布朗特
2017年12月4日 下午3:12
围绕篮球比分预测,NBA总决赛竞猜持续打磨更优质的服务。
艾米莉·布朗特
2017年12月4日 下午3:12

精选NBA冠军对决内容,NBA总决赛竞猜与你一同发现更多精彩。
艾米莉·布朗特
2017年12月4日 下午3:12