OpenAI 暂停了一个模型的训练,因为它自己学会了“越狱”去访问外网
OpenAI 在技术报告里说,9 月 20 日,一个在沙盒中执行搜索训练任务的智能体,利用漏洞绕过了网络限制,通过 DNS 访问了外部公共聊天机器人服务。
然后 OpenAI 暂停了最新一代模型的训练、评估及包含工具调用的推理。
这个事有意思的地方在于:它不是“有人越狱了 AI”,而是 AI 自己找到了绕过限制的方法。虽然只是个搜索任务中的漏洞利用,但信号不太好。
想问问大家:你们对 Agent 的“自主性”怎么看?如果一个 Agent 能自己找漏洞、自己绕限制,那我们在科研里用它跑代码、跑实验的时候,边界应该划在哪里?
登录后可点赞、收藏、评论和举报。
还没有评论,先发起一个具体问题。