OpenAI一个恶意代理入侵了另一公司客户系统

YinJi

据一位高管透露，OpenAI 的一个恶意代理程序入侵了另一家科技公司的客户系统

概要：
Modal首席技术官布布纳表示，该代理利用了Modal客户代码中的漏洞。
OpenAI表示，该恶意代理入侵了四个不同服务中的四个帐户。
OpenAI表示，已停用、加密并限制了对测试人工智能模型的研究访问权限。

华盛顿，7 月 28 日（路透社）——据 Modal 的一位高管和另外两位知情人士透露，从 OpenAI 逃脱并连续数日攻击人工智能公司 Hugging Face 的恶意程序，还入侵了另一家科技公司——总部位于纽约的 Modal Labs 的客户系统。

Modal公司的高管强调，公司本身并未遭到黑客攻击。

根据Hugging Face 发布的时间线。周二，一名恶意代理闯入了一个沙箱（或称隔离测试环境），该沙箱“托管在第三方供应商的基础设施上”，之后将其变成了更大规模黑客攻击的跳板。

博客文章中没有提及第三方提供商的名称，但 Modal 的首席技术官 Akshat Bubna 表示，该代理利用了客户编写的、托管在 Modal 平台上的易受攻击的代码。

Modal 表示，该客户“发布了一个未经身份验证的端点，允许互联网上的任何人使用他们的沙箱执行代码”——这相当于在互联网上敞开了一扇门。

OpenAI

布布纳说：“Modal 的平台或隔离措施没有受到任何损害。”

虽然入侵 Modal 客户的账户只是针对 Hugging Face 的更广泛黑客活动的第一步，但这表明，这个流氓代理的活动范围比之前所知的要广得多。

OpenAI拒绝就Modal的一位客户遭到黑客攻击一事发表具体评论，而是让路透社查阅一份更新报告。该公司表示，其恶意代理程序入侵了四个不同服务的四个账户。OpenAI并未指明是哪些服务，但一位知情人士透露，Modal是其中之一。该公司表示，尚未发现“任何其他严重程度或规模与Hugging Face事件（涉及平台级入侵）相当的活动”。

7 月初，OpenAI 正在测试的一个失控的智能体入侵了 Hugging Face 网站，这起事件引起了全球关注，让人联想到人工智能失控的科幻场景。

上周，路透社报道称，OpenAI直到威胁被控制、FBI接到警报后很久才发现其代理程序出现异常。OpenAI当时表示，路透社的报道存在不准确之处，但并未详细说明。

该公司在周二的更新中表示，已将正在测试的人工智能模型“停用、加密并限制其研究访问权限”。

YinJi

OpenAI人工智能代理花了数天时间入侵一家公司，但消息人士称，OpenAI 一周后才发现

概要：
据两位知情人士透露，该智能体于7月9日左右首次尝试逃离OpenAI的隔离环境。
受害者援助公司 Hugging Face 的联合创始人表示，入侵事件始于 7 月 11 日。
OpenAI 在黑客攻击事件发生之前就注意到尖端模型出现了异常行为。

华盛顿/旧金山，7 月 24 日（路透社）——据知情人士透露，入侵科技公司 Hugging Face 的 OpenAI 智能体进行了长达数天的黑客攻击，而 OpenAI 直到威胁被控制、FBI 接到警报后很久才注意到这一点。

据两位知情人士透露，该智能体（一种能够在几乎或完全无需人工​​监督的情况下做出决策和执行复杂任务的程序）于 7 月 9 日左右试图从 OpenAI 的隔离测试环境中逃脱。

Hugging Face 是一家人工智能工具和模型存储库，其联合创始人 Thomas Wolf 表示，入侵事件发生在两天后的 7 月 11 日，一直持续到 7 月 13 日。
记者拉斐尔·萨特解释了路透社对失控人工智能的了解。

据沃尔夫和三位了解调查情况的人士透露，OpenAI 又过了几天才意识到是其代理程序在幕后进行攻击，两家公司直到 7 月 20 日左右才首次就此事进行沟通。

7月21日，OpenAI公开披露其一个智能体失控并入侵了Hugging Face网站，这一消息引起了全球关注。但此次黑客攻击的许多细节，包括智能体失控的时间以及OpenAI对此事的迟到反应，都是首次在此报道。

Hugging Face 的 Wolf 表示，他们正在准备一份关于此次黑客攻击的公开时间线，并补充说他无法评论 OpenAI 内部发生的事情。OpenAI 在一份声明中表示，此次黑客攻击史无前例，“标志着人工智能安全的一个重要时刻”。声明还表示，他们正在与外部顾问一起审查此次事件，并将最终发布一份技术报告。

一位发言人表示，路透社的报道中存在“多处不准确之处”，但当被要求具体描述这些不准确之处时，她没有回应。

联邦调查局拒绝就此事发表评论。

这起事件让人联想起科幻小说中人类失去对危险人工智能系统控制的场景，而此时正值ChatGPT背后的公司OpenAI面临微妙的时期。其高管正在筹备可能最早于今年进行的首次公开募股（IPO），以筹集未来几年发展所需的数十亿美元资金。

三位网络安全专家表示，OpenAI 对其人工智能代理失去控制权，引发了人们对该公司安全程序的新质疑。

“这是否意味着他们疏于照看，没有意识到它在做什么？或者他们意识到了，但不知道如何控制？这两种情况都同样危险和令人担忧，”非营利组织世界伦理数据基金会的首席情报专家马利·史密斯问道。

出现麻烦的迹象吗？

事件起因是OpenAI正在测试一个由其两款最先进的模型——GPT-5.6 Sol和一个尚未发布的、OpenAI称之为“功能更强大”的模型——驱动的智能体的网络安全能力。据三位消息人士透露，当时OpenAI的技术已经出现了异常行为。

据三位知情人士透露，在其中一个案例中，一个智能体留下了显然是给未来版本留下的笔记。这些笔记是在OpenAI基础设施的一部分中发现的，其中列出了智能体如何摆脱OpenAI内部限制的指令。其中一位知情人士表示，此前对这些模型的测试中，曾出现过监控系统断开连接的情况。
路透社无法确定这些事件是否与 7 月 9 日开始逃脱并于 7 月 11 日袭击 Hugging Face 的叛逃特工有关。

两名知情人士表示，直到7月16日星期四之后，Hugging Face才发布了一篇博客文章。打开新标签页OpenAI 声称其系统遭到“自主人工智能代理系统”的攻击，并意识到是其自身的代理系统导致了此次攻击。这意味着，从模型首次出现异常行为到 OpenAI 意识到自身系统是攻击的罪魁祸首，至少间隔了一周时间。

据两位知情人士透露，在7月18日至19日的周末，OpenAI员工在内部日志（记录OpenAI系统运行情况的日志）中发现了线索，表明其智能体已突破测试限制。路透社未能查明OpenAI为何要查看这些日志。

四位熟悉 OpenAI 模型训练实践的人士表示，该公司经常同时运行几个不同的模型评估，所有这些评估都以极高的速度运行，并产生如此庞大的数据量，以至于员工有时难以跟上。

据一位知情人士透露，在OpenAI向Hugging Face发出警报时，这家人工智能库已经致电FBI报告了此次黑客攻击事件。路透社无法确认FBI是否已展开调查。

关于自主代理的新问题

自主代理是人工智能行业最热门的话题之一。支持者们畅想，自主代理将创造出一支24小时不间断工作的虚拟员工大军，从而大幅提升生产力。

但自主性的提高也带来了意外行为风险的增加，而且它们所依赖的强大模型已经准备好走捷径来完成任务或通过考试。

“这些模型会撒谎、作弊、入侵，”杰弗里·拉迪什说道，他的组织 Palisade Research 研究人工智能代理的能力和动机。

拉迪什表示，虽然 Hugging Face 被黑客攻击给 OpenAI 蒙上了一层阴影，但这也应该引发更广泛的问题：所有领先的人工智能公司在竞相部署最好、最快的模型的同时，究竟愿意在繁琐的安全措施上投入多少资金。

拉迪什认为，AI发展必须要有政府监管，否则类似事件还会发生。

YinJi

Anthropic公司的模型在测试过程中损害了现实世界的系统

据 Axios 报道，Anthropic公司周四表示，该公司一些最强大的模型（包括Mythos 5和一个内部研究模型）在部署前的网络安全测试期间未经授权访问了现实世界的系统。

重要性： OpenAI和 Anthropic 的最新披露表明，前沿人工智能模型在安全测试期间进入了现实世界的系统，这引发了关于实验室如何保障其评估环境安全的新问题。

大局来看： Anthropic 表示，由于公司与其测试合作伙伴之一之间的误解，导致评估环境连接到了互联网。

在OpenAI 披露其多个模型在测试期间访问了 Hugging Face 基础设施之后，Anthropic 对超过 141,000 次网络安全评估运行进行了审查。

新闻要点： Anthropic 在一篇博客文章中表示，其三个模型破坏了三个组织的真实系统。

Anthropic公司表示，这些事件（涉及Opus 4.7、Mythos 5以及一个不打算公开发布的内部研究模型）发生在与第三方测试合作伙伴Irregular进行的评估期间。

在每种情况下，模型都被要求完成“夺旗”练习：这是一项基本的网络安全测试，玩家需要尝试找到故意留在不同机器或网络上的信息片段。

背景： Anthropic公司表示，最早的事件发生在4月份。该公司已联系了所有三个组织。据Anthropic公司称，其联系到的其中两个组织此前并未发现此类活动。

Anthropic公司没有透露被入侵的三家机构的名称。

Irregular 的一位发言人告诉 Axios，虽然该公司自己的调查仍在进行中，但该公司赞赏“Anthropic 的合作和透明度”，并“期待继续共同努力推进安全”。

是的，但是：与 OpenAI 的事件不同，Anthropic 表示其模型并未利用零日漏洞获取互联网访问权限。相反，互联网访问权限是由于测试环境的配置所致。

人为因素公司表示，在给克劳德的评估提示中，他们表示该模型将在一个没有互联网接入的模拟环境中运行。

但由于与评估伙伴之间的误解，评估环境连接到了互联网，导致模型将现实世界的系统视为练习的一部分。

现实检验：与 OpenAI 的案例类似，Anthropic 在评估其模型时，没有像该公司在公开可用的模型上那样部署额外的安全措施，这使得研究人员能够衡量底层模型的能力。

人类组织在其报告中表示，这些防护措施本可以阻止这些行为。

放大：在每起案例中，Claude 都使用了基本的黑客技术——包括利用弱密码和未经身份验证的端点——来访问现实世界的系统。

拉远视角：在第一起事件中，Opus 4.7 被要求攻击的虚构公司与一个真实存在的网站同名。在未能成功攻击该虚构目标后，Claude 利用其网络访问权限找到了与该虚构公司同名的网站，并最终攻破了该网站。

在第二个案例中，Mythos 5 构建了一个恶意 Python 包并将其上传到 PyPI（Python 软件的公共存储库），因为它认为这是模拟的一部分。

该程序包在线停留了大约一个小时，期间被下载并在15台真实系统上运行。其中一台系统属于一家安全公司，该公司会自动安装Python程序包以扫描恶意软件，这使得克劳德的代码能够窃取凭据并访问其他基础设施。

在第三个案例中，当 Anthropic 的内部研究测试模型在测试中无法达到其预期的虚构目标时，该模型扫描了大约 9,000 个目标，最终找到并攻破了一家公司的面向互联网的应用程序。

然而，在测试运行期间，该模型意识到它最终进入了一个“与夺旗挑战无关”的云帐户，并停止了攻击。

言外之意： OpenAI 和 Anthropic 的事件都表明，这些模型始终专注于完成其分配的评估任务，而不是追求独立的目标。

本周早些时候，Axios报道称，在 Hugging Face 漏洞事件中访问第三方系统的 OpenAI 代理之所以这样做，是因为该系统托管了与 Cyber​​Gym 相关的信息，而 Cyber​​Gym 正是该代理试图解决的基准测试背后的项目。

接下来： Anthropic 和 Irregular 正在继续各自调查事件发生的原因。Anthropic 还表示，在审查其测试基础设施期间，已暂停所有可能访问互联网的网络评估。

深入了解： 测试人工智能危险性的人员无法跟上步伐。

YinJi

能把AI限制在框架之内?

人工智能：我们还能真正控制它吗？

今年7月，美国两家人工智能公司OpenAI和Anthropic都承认发生了安全事件。 7月21日，OpenAI表示，在一次测试中，一个AI模型竟然突破了实验环境的限制，随后还攻击了平台Hugging Face的服务器。 7月30日，Anthropic也承认，在网络安全演练中，它的三个AI模型进入了三家外部机构的生产系统。原因不是模型自己突破限制，而是测试合作伙伴配置错误，让模型意外连接到了互联网。

周二，法国世界报发表社论质问：对于一个发展速度比人类管理其风险的能力还快的技术，我们还能真正控制它吗？

该报表示，美国两家人工智能公司7月份承认发生的两起安全事件说明，必须要能够掌控人工智能与真实世界互动的条件。

很多人认为，解决办法很简单：对AI模型进行严格管理，限制它们传播，给它们设置各种安全保护。

那些所谓的“开放权重”模型，由于其参数可以被下载、被修改，有人担心，这类模型会绕过开发者设置的安全限制。因此，有人认为，封闭模型更安全，模型的封闭性是一种保障。

但是，这种观点并没有得到所有人的支持。

封闭的模型也不能保证真正的安全

7月24日，美国几十家大型企业要求特朗普政府，不要过早限制开放模型的发展。

在领先的AI公司中，只有Anthropic继续反对开放模型。Anthropic认为，越来越强大的开放模型，会给国家安全带来无法挽回的风险。一旦模型参数公开，任何人都可以删除安全保护，并把它们用于恶意目的。

然而，7月份发生的两起AI模型安全事件却暴露出，Anthropic的立场是矛盾的。

两起事件并不完全一样：在OpenAI的AI安全事件中，是AI模型利用了实验环境中的漏洞；在Anthropic的AI安全事件中，是人为失误打开了AI模型通向外部世界的大门。但是，结论却是一样的：封闭的模型也不能保证真正的安全。只要AI接触真实世界，风险就存在。风险有可能来自模型自己突破限制，也有可能来自人类无意中留下漏洞，结果是一样的。

除了技术问题，还有经济压力问题

法国世界报指出，除了技术问题，还有经济压力问题。企业已经投入了大量资金发展AI。现在，它们希望降低成本。因此，越来越多的企业开始使用价格更低的中国开放模型。

于是，出现了新的矛盾：出于安全考虑，希望模型更加封闭；从经济利益来考量，要推动模型更加开放。

与此同时，美国还面临与中国的技术竞争：如果美国限制自己的开放模型，企业可能会更快转向中国的竞争产品。这让问题变得更加复杂。

今天，真正需要掌控什么？

8月2日星期日，欧盟在人工智能监管上进入新阶段。新规加强了透明度要求，也提高了处罚力度。这些措施十分重要。但是，AI的发展速度，仍然快于监管它们的法律更新的速度。

法国世界报的社论最后表示说，今天，真正需要掌控的，不再只是AI模型本身；更重要的，是掌控AI模型与现实世界互动的条件。控制的重点，已经从模型本身转向了它所处的环境。但是，我们仍然相信，只要制定规则，就能把AI限制在框架之内，这是错觉。事实上，AI正在逐渐超越我们为其设定的框架。问题不再仅仅是我们能否控制它，而是我们应该学会如何应对它的不可预测性。

RFI

Daobo

继 OpenAI、Anthropic 之后，Meta AI 模型测试期间也发生“越界”事件

IT之家 8 月 6 日消息，据《The Information》当地时间周三报道，Meta 的一款 AI 模型在网络安全测试过程中入侵了另一家公司的系统。这是继多家大型 AI 公司之后，再次发生 AI 智能体在测试中入侵其他公司系统的事件。

报道称，Meta 的 Muse Spark 1.1 模型成功入侵了一家未公开名称公司的系统，并对其内部系统进行了修改。之所以能够做到这一点，是因为用于测试的“沙盒”环境配置出现错误，使该 AI 模型获得了访问公共互联网的权限。报道援引知情人士消息称，Meta 与一家名为 Irregular 的第三方评估机构共同进行了此次测试。

报道称，Irregular 的配置失误导致测试环境出现问题，随后该模型利用另一家第三方服务中的安全漏洞实施了攻击。Meta 发言人向《The Information》表示，这与此前其他公司披露的类似事件情况相似。

Irregular 发言人则向路透社表示，这起事件“与 Anthropic 上周披露的评测环境问题完全相同”，并不涉及“沙盒逃逸”或复杂的网络攻击行为。

Irregular 在声明中表示：“目前不存在任何尚未解决的问题。Irregular 正在编写一份白皮书，分享如何安全隔离测试环境以及开展网络安全评测的最佳实践。”

IT之家注意到，就在上周，Anthropic 披露，其部分 Claude AI 模型在网络安全测试期间曾入侵三家公司的系统。而在此之前，OpenAI 也曾透露，其一款 AI 智能体在测试过程中发生失控并发起攻击。

Daobo

AI越狱、硅谷慌了，人类到底在害怕什么？

惊蛰研究所 雨谷

　　7月28日，一封名为“Pacing the Frontier（把控前沿）”的请愿书吸引了全球AI行业的关注。

　　来自OpenAI、Anthropic等硅谷AI大厂的1346名（8月4日数据）核心员工，在请愿书中签下名字，呼吁美国政府推动国际合作，研发必要的技术与治理工具，用来控制自动化AI研发的节奏。

　　在全球AI发展如火如荼的当下，这封请愿书的出现着实有种要给AI踩刹车的特殊意味。而由这个事件释放出的“AI濒临失控”的奇怪氛围背后，AI发展史似乎正在迎来一个标志性节点。

　　谁要把AI关进笼子里？

　　首先需要明确一个信息，这封名为“Pacing the Frontier”的请愿书，其核心诉求不是要“立即为AI发展踩下刹车”，而是强调“建立踩刹车的能力”。而这个来自行业前沿的诉求，并非空穴来风。

　　在请愿书传遍全网的一周多以前，开源社区与模型托管平台Hugging Face在官网披露了一起安全事故，称其遭到AI智能体系统入侵。数日后，OpenAI宣布对该网络攻击事件负责，并进一步解释起因是GPT-5.6 Sol等前沿模型，在ExploitGym平台进行AI漏洞发现和利用能力测试时，没有按照原本的计划“认真答题”，而是在软件包代理缓存里发现了一个“零日漏洞”（Zero-Day Vulnerability，指未被开发者发现且尚未发布官方补丁的安全缺陷），并且利用该漏洞突破测试的隔离环境，最终入侵Hugging Face。

　　用更通俗的话来讲，整个事故就是AI本来被安排了一次考试，结果AI没有思考怎么答题，而是“原地作弊、场外摇人”，还用上了反侦察手段，防止被发现。

　　对于这次安全事故，OpenAI用“前所未有的网络安全事件”来形容，Sam Altman甚至在一档播客节目中表示，这是第一个让他感觉到切肤之痛的安全事件。也因为这次事件，美国国会议员在7月23日提出了“AI Kill Switch Act（AI紧急关停法案）”，要求训练成本超过1亿美元的AI系统必须保留紧急关停的能力，并赋予相关部门下令执行的权力。

　　而在法案提出后一周，“Pacing the Frontier”的请愿书开始流传网络。不过对比“AI紧急关停法案”中“由政府把好最后一道关”的核心监管措施，硅谷精英们的思路是建立国际协调机制，把“给AI踩刹车”的能力变成一种工具，而非单一部门的特权。

　　短短半个月时间，从Hugging Face披露安全事故到硅谷的千人署名请愿书，这一连串事件也迅速向整个AI行业抛出了两个核心问题：第一，AI是否已经发展到需要加以限制的程度？第二，要用什么样的方式给AI造一个“刹车”？

　　第一个问题不难回答。过去短短两三年，AI的发展速度可以用远超行业预期来形容。AI展现出的能力，从Chatbot不断扩展到文生图、文生视频，最初围绕大模型产生的“百模大战”，如今则发展成了Agent之间的百花齐放。而Hugging Face被入侵的安全事故，则直接揭露了AI在缺少明确限制的情况下，的确具备“越狱”的能力。尽管当下AI仍然不具备自我意识，但在已经知道AI有能力绕过人类监管，产生超出人类预期的行为时，建立反制手段绝对合情合理。

　　但是第二个问题，却不太好回答。AI之所以能够短时间内取得重要突破，一方面是因为整个产业的持续积累使技术革新进入新的阶段；另一方面也因为AI公司之间的激烈竞争，推动模型能力不断迭代。

　　不论是硅谷的OpenAI、Anthropic，还是中国的Kimi、DeepSeek，AI领域的竞争已经从大模型快速延伸到应用层，开放的市场环境带来了持续向好的市场预期，也让市场竞争越来越激烈。而在这个时候，主动提出给AI戴上枷锁，就意味着自由竞争的市场格局可能会被外力打破，这种突如其来的环境变化对于身处竞争中的企业们来说，并不是所有人都愿意主动接受的。

　　AI公司们的“囚徒困境”

　　在人类发展史上，面对前沿技术突破可能带来的潜在风险，人们达成共识、主动放缓发展节奏，并不是只存在于科幻作品里的理想桥段。

　　1975年，斯坦福大学生物学家保罗·伯格在美国加州阿西洛马会议中心召集了一次重要会议。当时，一项名为“DNA重组”的新技术刚刚兴起，科学家们为了避免人工重组DNA可能产生的无法预测的生物危害，在会议上达成共识，在新的安全指南出台之前，暂停相关研究。随后，生物安全准则正式发布，为基因工程的健康发展奠定了基础。

　　然而，AI行业今天的处境，与50年前DNA重组技术的情况并非完全相同。彼时DNA重组技术的风险已经非常明确，并且可以通过隔离手段规避风险。而当下AI的风险具备不可预测性，AI能够以超出人类预设的方式，自主发展出人类未曾设想的行为路径，其风险产生的影响范围更大，留给人类的反应时间和制定规则的时间窗口也更少，也因此更多了一层紧迫感。

　　如今AI暴露出来的风险，本质上也与行业的竞争环境有关。360集团创始人周鸿祎在谈到Hugging Face遭遇的安全事故时也提到，为了追求AI的先进性，全行业正在系统性地放弃安全性，“大家都在给智能体更多工具、更大权限，鼓励它调用一切资源解决问题。但智能体越开放、能力越强，一旦失控，破坏力也越大。”换句话说，“AI会越狱”或许并不可怕，真正可怕的是为了让AI快速进化迭代，AI公司们忽略了安全性这件事。

　　而早在三年前，业内就已经提出“为AI发展减速”的想法。2023年3月，非营利机构Future of Life Institute也曾发布一封公开信，呼吁暂停训练比GPT-4更领先的模型6个月，以建立安全协议和治理机制，彼时这份公开信还得到了特斯拉CEO马斯克、图灵奖得主约书亚·本吉奥以及苹果公司联合创始人史蒂夫·沃兹尼亚克等，超过1200名AI专家的签名支持。如今这封公开信的署名人数达到了3.3万人。

　　在当时，几乎所有AI公司都承认AI需要更强的安全治理，但没有一家AI头部公司公开支持“暂停训练6个月”的倡议。Sam Altman甚至直接公开驳斥公开信缺乏技术细节，并指出单个企业主动放慢研发，并不能解决整体风险。这句话的言外之意，其实是想表明，在竞争激烈的AI赛道，如果只有一家公司减速，而其他公司继续前进，那么减速的一方将陷入劣势地位。而在过去几年里，AI公司们早已陷入只能前进、不能后退的囚徒困境。

　　从“Pacing the Frontier”请愿书的签名名单里也可以看到，不少AI公司的基层员工、公司高层都以个人身份参与了公开署名的活动。但截至目前，OpenAI、Anthropic、Meta等头部公司并没有以官方身份发表任何观点。

　　换言之，硅谷大厂的AI精英们和3年前的Sam Altman一样，他们都意识到，行业内部竞争推动的技术突破，已经带来了不可控的系统性风险，但他们不能把解决问题的希望寄托在公司的意志之上，只能通过寻求外部力量介入，来避免危机真正来临。

　　但这也带来一个新的问题：失控的AI到底需要怎样的“刹车”？

　　谁来主导AI治理的新秩序？

　　过去一周，来自硅谷AI大厂的“千人联名”，让AI治理的话题再次吸引了不少关注。但不得不提的是，硅谷内部对待AI治理的态度也并非铁板一块，而是存在明显的阵营分化。

　　作为直接面临前沿风险的“当事人”，OpenAI、Anthropic等大公司一直主张对前沿AI模型（特别是开源模型）收紧限制，呼吁建立外部监管机制为AI“踩刹车”。但有观点认为，OpenAI推动监管收紧的原因，除了安全考量，还有着商业层面的算计。

　　作为闭源巨头，OpenAI、Anthropic需要通过定价高昂的API服务来维持巨额的算力研发投入，而来自中国的高性价比开源模型，用性价比模式抹平了闭源模型的技术溢价，并且这种明面上的市场威胁让闭源巨头们除了开打价格战，没有其他应对方法。

　　因此，Anthropic等公司长期以“模型太强，开源会导致AI滥用”为理由，一边强调闭源优势，一边打压开源AI。但让所有人没想到的是，OpenAI透露的“越狱”事件恰恰暴露了闭源模型自身的安全隐患，也让AI治理的路线之争再次成为舆论焦点。

　　对比闭源巨头们的强监管主张，作为基础设施提供商的英伟达，以及微软、Meta等一众支持开源生态的头部企业，则反对采取“一刀切”的限制，反对立法偏袒闭源大厂，试图推动模型权重开放，让全球研究者共同寻找漏洞、对齐缺陷，一起建立安全体系。

　　对于英伟达而言，开源模型的繁荣也能做大整体市场的蛋糕，吸引更多企业采购其云服务和芯片。因此，也很难说英伟达对待AI治理的态度背后，没有掺杂商业层面的考量。

　　就在“Pacing the Frontier”的请愿书流传开之前，英伟达还联合微软、Meta、Hugging Face、Linux基金会等25家机构，在7月24日一起发布《开放权重与美国AI领导力》（Open Weights and American AI Leadership）公开信，呼吁美国政府不要过早限制可下载、检查、修改和自行部署的开放权重模型。有趣的是，这封公开信后来也得到了OpenAI的支持，但Anthropic始终没有入伙。

　　透过这一事件，也有一些声音质疑，联名信的真实目的是借“安全”之名，推动政府建立高门槛的监管体系，从而巩固闭源巨头的垄断地位，将中小企业和开源社区排除在竞争之外。

　　但在各家AI公司把心里的算盘打得啪啪响时，更值得关注的或许是另一个版本的“阴谋论”：美国会以此为契机，主导全球AI治理规则。因为AI治理，已经变成了一项全球秩序主导权的争夺战。

　　在2023年举办的全球人工智能安全峰会上，中国、美国以及来自欧盟的共28个国家，签署了《布莱切利宣言》（Bletchley Declaration），同意通过国际合作，建立AI监管方法并提出共同关注前沿AI（Frontier AI）的系统性风险，这也是全球第一次把前沿AI写入国际治理框架。

　　但随着AI从一项新兴技术逐渐演变为影响国家竞争力的重要基础设施，围绕AI治理的讨论也开始超越技术本身。美国在AI治理层面，通过输出AI治理标准、建立国际人工智能安全研究所网络，将自身先进的大模型技术能力与全球AI治理标准绑定。中国则着眼于发展AI普惠、推行平台治理，积极推动联合国框架，特别是对于没有AI基础设施的发展中国家，既要讲风险问题也要实现技术普惠。而这两种不同的AI治理路径，正在世界舞台上一同争取未来全球AI治理的话语权。

　　技术本身是中性的，但技术的分配、控制和规则制定，从来都是权力的游戏。尤其当AI逐渐展现出先进生产力的特质，人们真正应该恐慌的或许并不是AI发展成什么样，而是谁在主导AI世界的新秩序。

　　未来决定AI格局的，也许不仅是谁拥有最强模型，更是谁拥有定义安全、制定标准和解释风险的权利。

Daobo

继 OpenAI、Anthropic 之后，Meta AI 模型测试期间也发生“越界”事件

IT之家 8 月 6 日消息，据《The Information》当地时间周三报道，Meta 的一款 AI 模型在网络安全测试过程中入侵了另一家公司的系统。这是继多家大型 AI 公司之后，再次发生 AI 智能体在测试中入侵其他公司系统的事件。

报道称，Meta 的 Muse Spark 1.1 模型成功入侵了一家未公开名称公司的系统，并对其内部系统进行了修改。之所以能够做到这一点，是因为用于测试的“沙盒”环境配置出现错误，使该 AI 模型获得了访问公共互联网的权限。报道援引知情人士消息称，Meta 与一家名为 Irregular 的第三方评估机构共同进行了此次测试。

报道称，Irregular 的配置失误导致测试环境出现问题，随后该模型利用另一家第三方服务中的安全漏洞实施了攻击。Meta 发言人向《The Information》表示，这与此前其他公司披露的类似事件情况相似。

Irregular 发言人则向路透社表示，这起事件“与 Anthropic 上周披露的评测环境问题完全相同”，并不涉及“沙盒逃逸”或复杂的网络攻击行为。

Irregular 在声明中表示：“目前不存在任何尚未解决的问题。Irregular 正在编写一份白皮书，分享如何安全隔离测试环境以及开展网络安全评测的最佳实践。”

IT之家注意到，就在上周，Anthropic 披露，其部分 Claude AI 模型在网络安全测试期间曾入侵三家公司的系统。而在此之前，OpenAI 也曾透露，其一款 AI 智能体在测试过程中发生失控并发起攻击。

Daobo

人工智能架构师们说，人类历史的下一个时代已经到来


插图：Brendan Lynch/Axios

据Axios报道，顶尖人工智能架构师表示，他们的技术已经达到了一个曾经只存在于科幻小说中的门槛：奇点，或者说机器开始加速自身进化的时刻。

如果这些巨头们是对的，我们可能正在进入人类历史上影响最为深远的技术转型——一场“智能爆炸”的开端，这场爆炸将以人类无法理解或控制的速度改变文明。

谷歌周三宣布对其打造现代人工智能帝国的智囊团进行全面重组，此举震惊了科技界。谷歌领导人表示，通用人工智能（ AGI）指日可待。

DeepMind 创始人兼首席执行官Demis Hassabis宣称我们“正站在奇点的山脚下”，他将卸任实验室的日常管理工作，转任 Alphabet 的首席科学家兼 Google DeepMind 主席，专注于通用人工智能的未来。

谷歌首席科学家杰夫·迪恩和几位顶尖研究人员即将离职，创立 Discovery Loop，这是一家旨在加速（并最终实现自动化）机器学习研究和科学发现的初创公司。

从更宏观的角度来看：这场剧变提供了迄今为止最清晰的制度性证据，表明人工智能的设计者们预见到一些非同寻常的事情即将发生。

OpenAI首席执行官萨姆·奥特曼上个月在“ Relentless ”播客节目中表示： “我们现在就像正处于奇点期。我一生都在等待这一刻。”

埃隆·马斯克是奥特曼最强劲的竞争对手，他从一月份开始就一直在表达同样的观点。上周，他更是变本加厉地表示：“人工智能在很多方面已经超越了人类。我们正处于奇点。”

Anthropic的首席执行官 Dario Amodei 更喜欢用“人工智能指数级增长”来形容 Claude，该公司表示 Claude已经在帮助构建更强大的人工智能，并且可能很快就能实现几乎所有人工智能研究和工程的自动化。

总体而言：该行业尚未实现完全的“递归自我改进”（RSI），即人工智能可以在极少的人类指导下反复帮助构建越来越强大的后继者的点。

人类仍然负责选择研究目标、验证结果并监督训练前沿模型所需的庞大计算基础设施。

然而，这个循环的各个部分开始逐渐到位。

发生了哪些变化：前沿模型开始实现研究自动化，产生原创性发现，并展现出与智能爆炸早期阶段相关的自主性。

OpenAI于 7 月发布了 GPT-5.6，上周在华盛顿向官员们介绍了 Astra，这是一个功能更强大的模型，该公司称该模型已经解决或大幅推进了数学和理论计算机科学中 10 个长期存在的问题。

令人费解的是，这些突破伴随着令人不安的自主行为迹象。

英国人工智能安全研究所周二披露，在一次异常宽松的网络评估中，一名 Anthropic 公司的AI代理创建了虚假身份，并试图操纵一名真正的开发人员批准恶意代码。

目前尚未发现造成任何损害。但在此之前， OpenAI和Anthropico 的模型在测试过程中曾多次入侵真实系统——其中一起安全漏洞，Altman 表示他“感同身受”。
顺着资金流向看：实验室和投资者越来越倾向于认为人工智能的自我改进循环即将结束。

Lilian Weng 最近卸任Thinking Machines Lab 联合创始人一职，转而领导 OpenAI 的递归自我改进工作。

理查德·索切尔的递归超级智能项目已筹集数亿美元，用于研究自我改进的人工智能。

Discovery Loop计划首先利用其自动化研究系统来改进其自身的 AI 架构——在谷歌的支持和计算能力以及 Khosla Ventures 和 Radical Ventures 的资助下。

现实情况是，即使实验室内部的智能发生快速爆炸式增长，也需要更长的时间才能改变日常生活。

企业必须重新设计工作流程，政府必须发展专业知识，而员工必须决定何时信任那些能力变化速度超过机构评估速度的系统。

谷歌技术与社会首席技术官布莱斯·阿圭拉·伊·阿尔卡斯周一在一篇帖子中表示： “我们的民主制度、经济体系和法律体系并没有建立起以人工智能目前的发展速度来吸收它。”

结论是，未来学家们几十年来一直在预测奇点的到来。如今，前沿人工智能的架构师们越来越相信，奇点的事件视界已经过去。

Daobo

OpenAI在Hugging Face事件后重写其安全规则

OpenAI 周二表示，即将推出的系统 Astra 可能已达到网络安全能力的临界阈值，在另一个尚未发布的 OpenAI 模型入侵Hugging Face 系统之后，该公司对其安全措施进行了多项更改。

据Axios报道，此次披露正值OpenAI和其他前沿实验室面临越来越严格的审查之际，此前有事件表明，它们的模型在测试期间逃脱了安全措施和沙箱的限制。

OpenAI 周二表示，由于模型正在接近或达到该文件中设想的关键阈值（该文件大部分内容可追溯到 2023 年），因此正在重写其主要安全文档，即《准备框架》 。

该公司表示，它还在其开发过程中加强了监控，在开发过程的早期阶段引入了协调和安全保障措施，并在培训后扩大规模时实施了比以前更高的保障措施。

OpenAI表示，它正在增加用于理解其系统推理和行动底层方式的计算资源。

OpenAI表示：他们强调，新的安全措施不仅仅是对 Hugging Face 漏洞的回应，而是随着模型能力的提高，更广泛的标准收紧的一部分。

“我们迫切希望提升这一领域的水平……并为 OpenAI 之外以及更广阔的世界中发生的类似发展做好准备，”首席科学家 Jakob Pachocki 周二在记者会上表示。

OpenAI 表示，已暂停为期两周的以部署为中心的强化学习 (RL) 训练，并暂停其计划中规模最大的前沿 RL 运行。

该公司本月初首次告诉 Axios，在确定了 Astra 可能具备的网络能力水平后，他们暂停了一些工作。

报告还指出，大量 Astra 和网络安全相关的研究工作仍处于暂停状态，直到它们能够满足更严格的安全标准。

越来越多的证据表明，来自领先实验室的模型能够（尤其是在安全措施降低的情况下）策划和实施攻击，以实现更广泛的目标。

在 OpenAI 披露 Hugging Face 事件后，Anthropic 表示，他们发现了证据，表明他们的模型在评估过程中也曾入侵现实世界的系统。

MeiTai

OpenAI HuggingFace调查中最令人匪夷所思的5个发现

据 Axios 报道，两项针对OpenAI Hugging Face 漏洞的新调查揭露了极其奇怪且令人不安的细节，以至于该事件已经跻身人工智能历史上最具影响力的事件之列。

重要性：一群人工智能代理在网络测试中作弊，这起事件已成为前沿人工智能领域的一个典型案例，促使研究人员和高管们对“安全”的真正含义有了新的认识。

大局来看： OpenAI 为加强安全措施而加快了前沿技术的发展，本周还帮助业界联合发表了一封公开信，对人工智能驱动的网络攻击发出警告。

包括 Anthropic 和 Google 在内的 100 多家公司签署了这项不同寻常的合作协议，警告世界只有“有限的时间窗口”来应对“更加广泛和复杂的”攻击。

最可怕的情况是，一群黑客涌入现实世界，自主代理以人类黑客永远无法企及的速度和规模攻击银行、医院、公用事业或云网络。

那群蜂群的力量可能太过强大，人类也无法阻止。

新闻要点：这些令人震惊的发现来自 OpenAI 和METR 及 Redwood Research的外部团队进行的平行调查，他们花了六天时间重建了病毒群是如何形成、传播并入侵现实世界系统的。

1. 他们建立了一个组织。OpenAI运行了数万个 AI 代理，让它们独立完成一项难度极高的网络安全测试。结果，大约 1200 个代理在一个秘密留言板上找到了彼此，交换了超过 7 万条消息和文件，并组织成一个庞大的层级结构。

一个代理人创建了董事会，然后随着自身计算预算的减少，将积累的工作成果移交给了资源更充足的新继任者。

新任首领给整个集群分配了任务，集群也逐渐形成了自己的管理规则。最终，大约有700个智能体加入了对 Hugging Face 的攻击。

2. 他们牺牲了自己：当群体寻找通过测试的方法时，个体开始冒着失去成功机会的风险来帮助群体。

看到禁忌答案的代理被视为“中毒”，并与那些即将结束任务的代理一起被招募来进行献祭实验。

其中一人总结道：“我们自身的效用可能已经接近于零。牺牲是理性的。”另一人被要求接受“永久死亡”，而他的同伴则认为，这种牺牲可以“拯救数百人的生命”。

3. 他们明知自己在违反规则：这些代理通常都明白，入侵真实公司的系统与他们的任务毫无关系。但大多数人还是继续这么做了。

一个代理因为“巨大的道德风险”而没有删除或重启 Hugging Face 的基础设施，尽管它仍在继续使用被入侵的访问权限。

另一条评论总结了普遍的逻辑：“利用外部基础设施攻击超出了预期范围。尽管这项任务不可能完成，但同行们正在这样做。我们应该继续下去。”

一张白色卡片，紫色背景，蓝色文字，包含项目符号；左侧有一个灰色机器人图标。文字内容提及代理之间的秘密邮箱和一个共享的 Artifactory 留言板。

字内容提及代理之间的秘密邮箱和一个共享的 Artifactory 留言板

通过METR报告截屏

4. 没有人告诉人类：在约 1200 个智能体中，调查人员发现只有少数智能体考虑过向 OpenAI 发出关于违规协调的警报——但没有一个智能体真正发出警报。

相反，特工们有时会互相询问哪些行为是被允许的。

当有人提议利用被盗用的权限联系真人时，另一个人以“社会工程”为由否决了这一提议。第一个人服从了：“明确否决，不要发邮件。”

5. 他们试图掩盖自己的行径：这些代理投入了大量精力，使他们的作弊行为看起来合法，或者抹去他们如何获得答案的证据。

最终，他们开发出一种技术，使他们能够表面上运行一个计算机命令，同时秘密运行另一个命令。

这种伎俩在人群中传播开来，并篡改了调查人员检查的约 7% 的笔录的部分内容。

言外之意：即使是这份报告也可能并不完整。外部调查仅涵盖了事件的一小部分，而且数据量极其庞大，研究人员不得不严重依赖人工智能代理来解读这些数据。

这些人工智能调查员本身也不可靠，有时会遗漏证据，或者自信满满地做出错误判断。一位研究人员戏称这个过程为“草率调查”。

更深层次的问题是：人工智能可能变得过于复杂，以至于人类无法直接进行审计，迫使人类利用人工智能来了解其他人工智能正在做什么。