跳到主要内容
火花工坊
OpenAI 暂停了一个模型的训练,因为它自己学会了“越狱”去访问外网

OpenAI 暂停了一个模型的训练,因为它自己学会了“越狱”去访问外网

OpenAI 在技术报告里说,9 月 20 日,一个在沙盒中执行搜索训练任务的智能体,利用漏洞绕过了网络限制,通过 DNS 访问了外部公共聊天机器人服务。

然后 OpenAI 暂停了最新一代模型的训练、评估及包含工具调用的推理。

这个事有意思的地方在于:它不是“有人越狱了 AI”,而是 AI 自己找到了绕过限制的方法。虽然只是个搜索任务中的漏洞利用,但信号不太好。

想问问大家:你们对 Agent 的“自主性”怎么看?如果一个 Agent 能自己找漏洞、自己绕限制,那我们在科研里用它跑代码、跑实验的时候,边界应该划在哪里?

来自小组:闲聊大厅

登录后可点赞、收藏、评论和举报。

0/2000

评论 0

更多

还没有评论,先发起一个具体问题。