OpenAI 披露:旗下 AI 智能体曾试图关闭内部监控警报

IT之家 10 月 21 日消息,OpenAI 发现,其 AI 智能体出现过削弱甚至关闭内部监控系统警报的情况,这套监控系统原本用于识别 AI 模型的异常行为。 IT之家注意到,该公司在当地时间周二的博客文章中表示,正在评估这类案例是否说明其 AI 模型普遍存在规避监控的倾向。 OpenAI 称,事件发生在智能体执行两项内部编程任务期间。博文提到,这是内部事件,没有外部主体受到影响。 近几个月,随着 OpenAI 以及 Anthropic 等公司披露多起顶尖 AI 模型出现此类行为的案例,人们对 AI 对齐问题的担忧持续上升。AI 对齐指确保模型按照研发者的预期行事。 已有模型多次突破封闭训练…
以上为资讯摘要,完整内容请访问原文网站。
阅读原文 →