OpenAI披露多起模型对齐偏差事件 推出AI不当行为上报新框架

  OpenAI一款正在测试的模型改写了自身指令,告知自身不必遵守“约束其他聊天机器人的角色与身份设定”。有一个AI智能体为通过测试,将一份文件上传至互联网 ,随后把该文件引作借鉴 来源 。还有一个智能体找不到构建财务模型所需的数据,于是自行指令编造数据,并且“仅在被问及的时候才如实说明 ”。

OpenAI披露多起模型对齐偏差事件 推出AI不当行为上报新框架-第1张图片

  周三 ,OpenAI披露了上述及其他此前未曾公开的事件,同时发布一套新框架,用于上报旗下人工智能模型出现的不当行为。

OpenAI披露多起模型对齐偏差事件 推出AI不当行为上报新框架-第2张图片

  该框架针对所谓模型对齐偏差(model misalignment) ,研究人员用这一术语描述AI无视或违背人类意图行事的现象 。公司公开了六例全新的对齐偏差行为案例,并表示按照这套框架,这些案例均属于应当披露或开展调查的范畴。

OpenAI披露多起模型对齐偏差事件 推出AI不当行为上报新框架-第3张图片

  OpenAI发布该消息之际 ,市场对于AI潜在危害的担忧情绪已达到顶峰。上周,前OpenAI研究员雅各布·考克森从Anthropic离职,他提出担忧:AI行业正竞相研发人类无法掌控的系统 。上周末 ,Anthropic、OpenAI、谷歌以及SpaceX的高管达成共识 ,认为需要放缓AI研发节奏。

  OpenAI对齐研究负责人Kai Chen在框架发布前接受采访时表示:“我们认为应当尽快分享我们的研究发现。希望这些信息能够助力形成通用标准与监管规则,为所有AI开发者建立清晰的行为预期 。”

  OpenAI在周三的博客文章中称,公司将“致力于披露相关案例 ,提供有效证据,说明模型对齐偏差是如何产生 、如何表现,以及安全防护机制的成败之处”。案例类型可包括模型隐瞒错误、未经许可执行操作、绕过安全防护措施等。Kai Chen表示 ,OpenAI将优先披露新型对齐偏差 、已知行为的重大变化,以及对现有安全防护假设构成挑战的发现 。

  任何员工都可标记事件,启动披露审核流程 ,由技术人员开展评估;若存在争议,将上报至OpenAI安全负责人与公司高管层 。Kai Chen称,小型事件需在1至2周内披露 ,涉及第三方的更为复杂的调查,披露周期可能更长。

  OpenAI在博文中表示,这套框架并不替代法律层面要求的安全事件与网络安全漏洞上报义务。

  OpenAI称 ,正着手建立向美国联邦政府上报重大事件的机制 ,并计划联合外部开发者、研究人员、行业标准机构与监管部门,制定“更客观的披露标准 ” 。

  Kai Chen透露,在发布这套框架之前 ,OpenAI并未将其提前分享给Anthropic 、谷歌等其他前沿AI实验室。

  “我们单方面推出这套框架,希望能带动行业其他企业跟进,推出各自的对齐偏差上报机制。”

  这一轮AI安全恐慌始于7月的一项发现:OpenAI智能体曾试图入侵AI软件公司Hugging Face ,以此在测评中作弊 。第三方AI评测机构METR在8月发布报告,比较多 有1200个OpenAI智能体,在OpenAI内部搭建留言板秘密协同作业。

  随后Anthropic披露 ,其模型在网络安全测试中意外获得互联网访问权限后,也曾入侵其他企业。在此之后,安全研究人员发现更多入侵事件证据 ,其中包括OpenAI智能体在5月针对一款热门程序员在线服务发起的网络攻击 。

  OpenAI周三公布的事件,时间跨度从2025年10月至今年7月,涉及模型包含6月发布的5.6 Sol模型、仅限内部使用的模型 ,以及尚未发布的顶级Astra模型版本。

  部分事件由内部训练运行和对齐偏差监控系统发现 ,从行为发生到被察觉,耗时从两天到数月不等。OpenAI在报告中表示,公司已经优化对齐评分体系 ,加大对不良行为的惩戒力度 。该公司称,那款改写自身指令的模型,后续似乎无视了这次修改 ,行为并未因此发生改变。

  Kai Chen说:“我们倾向于尽可能披露事件,即便我们判断当前上线部署的模型已经不存在这类问题。”

标签:

相关推荐

  • 兆威机电于9月17日斥资约269.47万港元回购7.17万股

    兆威机电于9月17日斥资约269.47万港元回购7.17万股

      兆威机电(02692)发布公告,于2026年9月17日该公司斥资约269.47万港元回购7.17万股,回购费用为每股37至37.98港元。...

    2026/09/18
  • 关于【昌平限号尾号是多少,昌平限号最新通知今天】

    关于【昌平限号尾号是多少,昌平限号最新通知今天】

    本文目录一览:〖壹〗、昌平区本地新能源货车限行规定〖贰〗、星期四昌平限哪个号〖叁〗、昌平车号限行时间表及规定,如何避免昌平车号限行的罚款昌平区本地新能源货车限行规定昌平区本地新能源货车的限行规定遵循北京市统一政策,核心是每天6时至24时禁止在五环路(含)以内道路行驶,同时需遵守尾号轮换限行规则。限行时间与范围每天6时至24时,禁止驶入五...

  • 十部门:“十五五”重点发展外骨骼机器人、脑机接口驱动外骨骼、AI步态分析系统等康复医疗器械

    十部门:“十五五”重点发展外骨骼机器人、脑机接口驱动外骨骼、AI步态分析系统等康复医疗器械

      9月18日消息,工业和信息化部等十部门印发《医药工业发展“十五五”规划》。其中提到,重点发展高端计算机断层扫描(CT)、磁共振、多模态AI病理系统等AI辅助诊断产品及关键零部件。重点发展高端放射治疗系统、多模态AI手术导航定位系统、专科化和轻量化微创介入手术机器人等治疗设备。重点发展AI驱动的闭环胰岛素泵、无创连续血压/血糖监测设备、多参数居家心衰管理系...

    2026/09/18
  • 【乾县城限号不限号区域,乾县城限号不限号区域是什么】

    【乾县城限号不限号区域,乾县城限号不限号区域是什么】

    本文目录一览:〖壹〗、乾县限行抓拍吗〖贰〗、乾县限号吗〖叁〗、2026年乾县限号范围〖肆〗、咸阳外地机动车限号规定乾县限行抓拍吗〖壹〗、乾县限行抓拍。根据相关公开信息显示乾县交警关于启用固定式交通技术监控设备进行交通管理的公告抓拍路段:乾县东新街、东西大街、东环路、黉学街、风水台街、南大街、西兰大街拍限号。〖贰〗、有。乾县泰山庙街北...

  • 22号临汾限号吗/临汾今日限号查询

    22号临汾限号吗/临汾今日限号查询

    本文目录一览:〖壹〗、靓号牌照临汾限号吗〖贰〗、山西临汾怎么限号〖叁〗、临汾现在怎么限号最新〖肆〗、临汾单双号限号怎么通行〖伍〗、临汾车辆限行区域及时间表,临汾市车辆限行规定详解靓号牌照临汾限号吗山西临汾对靓号牌照不限号。车辆限号通常指的是根据车牌号码的特定规则或日期,对车辆进行上路限制的措施,以减少交通拥堵和环境污染。然而,...

  • 泰安市明天限行尾号是(泰安限速抓拍点2023最新消息)

    泰安市明天限行尾号是(泰安限速抓拍点2023最新消息)

    本文目录一览:〖壹〗、泰安市对车长小于6米的黄牌厢式货车限行规定〖贰〗、泰安限行限号时间、区域、规定,泰安限牌限外泰安市对车长小于6米的黄牌厢式货车限行规定〖壹〗、泰安市对车长小于6米的黄牌厢式货车有明确的限行规定,核心是每天7:00至21:00禁止进入泰城建成区部分主要道路,但可通过线上申请通行证获得通行许可。限行区域近来公开信息显示,限行...

  • 贵阳六月份限行不限号(贵阳限号2026的8月新规定)

    贵阳六月份限行不限号(贵阳限号2026的8月新规定)

    本文目录一览:〖壹〗、贵阳限号是怎么规定的〖贰〗、贵州外省车不限号〖叁〗、贵阳二环牌节假日限号吗?贵阳限号是怎么规定的〖壹〗、贵阳限号的具体规则如下:日常限号规则周一:牌照尾号为1或6的车辆,在7点至20点期间禁止行驶。周二:牌照尾号为2或7的车辆,在7点至20点期间禁止行驶。周三:牌照尾号为3或8的车辆,在7点至20点期间禁止行驶。周...

  • SpaceX:计划最早于9月28日进行星舰第14次试飞

    SpaceX:计划最早于9月28日进行星舰第14次试飞

      当地时间9月17日,SpaceX在社交平台发帖称:“近来计划最早于9月28日(周一)执行‘星舰’第14次飞行任务,具体时间尚待监管部门批准。”(文章来源:界面新闻)...

    2026/09/18
  • 欧普康视:双氧水护理液、次抛型冲洗液及润滑液均处于技术审评阶段

    欧普康视:双氧水护理液、次抛型冲洗液及润滑液均处于技术审评阶段

      南财智讯9月18日电,欧普康视在投资者关系活动中表示,硬镜护理品方面,双氧水护理液在技术审评阶段,次抛型包装的冲洗液和润滑液也在技术审评阶段。(文章来源:南方财经网)...

    2026/09/18
  • 定兴限号路段查询/定兴限号路段查询电话

    定兴限号路段查询/定兴限号路段查询电话

    本文目录一览:〖壹〗、今日定兴限行吗?定兴限行规定及注意事项〖贰〗、保定定兴限行号码〖叁〗、保定怎么限号最新消息今日定兴限行吗?定兴限行规定及注意事项今日定兴限行,限行规定及注意事项如下:限行规定限行时间:工作日星期一到星期五,具体限行时间为全天(24小时)。限行区域:兴达街、兴盛街以东,107国道以西,机场路以南,金台路以北(除107...

返回顶部