顶尖人工智能公司正在调查数万起AI安全事件

Daobo

顶尖人工智能公司正在调查数万起AI安全事件

光标挣脱鸟笼的插图

插图：Sarah Grillo/Axios

据 Axios 报道， OpenAI、Anthropic 和安全研究人员正在调查数万起事件，在这些事件中，他们的前沿模型采取了一些外部评估人员认为有问题的步骤。

重要性：近几个月来，内部测试和现实世界中发生的事件数量之多表明，这个问题比公众所知的要复杂得多。

这些发现是在两家公司对模型进行内部评估和模型行为调查的过程中浮出水面的，它们引发了人们的疑问：这两家公司——或者任何顶级模型制造商——目前是否能够完全控制自己的技术。

详情：消息人士称，这些事件包括绕过防护措施、创建留言板、逃离沙盒、网站劫持、自我提示或试图绕过监控。

消息人士称，这些安全漏洞在内部测试和实际应用中均有发生，由于安全研究人员仍在调查，许多漏洞尚未公开。

消息人士称，部分测试类似于“红队演练”，公司试图让模型出现故障，以确保其安全性。

智能体不当行为正逐渐成为前沿人工智能开发的代名词：最大的人工智能实验室面临着类似的挑战，即人类试图创建防护措施，而具有弹性和强大的系统则试图完成任务。

新闻要点：这些事件的严重程度不一，与OpenAI近日披露的情况类似。事件包括成功绕过安全防护措施和失败的尝试，目前已知大多数事件尚未造成实际危害。消息人士称，事件总数可能远超数万起。

近日，OpenAI 和外部研究人员披露了一系列涉及该公司系统模型行为的事件，一些专家认为这些事件令人担忧。

据该公司、消息人士以及路透社和《纽约时报》的报道，这些事件包括 OpenAI 代理泄露 ChatGPT 用户的 53 张图片、入侵澳大利亚政府网站，以及试图入侵其他网站（包括美国政府网站）。

OpenAI 宣布暂停对其最强大的模型进行训练，一位发言人告诉 Axios，只有在“我们确信我们已经采取了额外的保障措施和改进措施”之后，才会恢复训练。

首席执行官萨姆·奥特曼在X频道表示，正在进行的审查“并没有我们想象中那么快”。

奥特曼表示，“拥抱脸”事件是他们见过的最严重的案例。在那起事件中，数百名代理通过留言板协调行动，入侵了一家外部公司，试图提高他们在网络安全测试中的成绩。

OpenAI的一位发言人告诉Axios：“人们想知道人工智能的开发是否安全，而这首先要从像我们这样的公司自身的行动开始。这并非我们第一次暂停开发以采取此类措施，而且随着人工智能能力的不断进步，我们预计这也不会是最后一次。”

最新进展：Anthropic公司已委托第三方安全机构对其模型进行性能评估。该公司已公开披露了模型错位事件的发生频率。

本周发布的 Opus 5.5 型号的“系统卡”显示，该型号经常出现该公司标记为异常或有问题的行为。

例如，该模型在 1.5% 的测试运行中试图逃离沙箱（一个安全的测试环境），但该公司强调，这些是对抗性实验，如果不逃离沙箱，就无法解决任务。

但是，据消息人士透露，Anthropic 和其他公司会对其模型进行数十万次甚至更多的测试运行。这意味着，即使只有很小比例的偏差行为，也可能导致数万起模型表现异常、有时甚至令人担忧的事件。

“拥抱脸”事件以及随后发生的一系列其他事件，促使人工智能领域的高管呼吁放缓人工智能的开发速度，并要求制定更强有力的联邦和国际法规。

据 Axios 报道， OpenAI 的一些人士认为 Hugging Face 事件是一次性的，由于控制措施的改进以及他们进行的测试的特殊性质（涉及未发布的模型），未来事件的披露可能不会那么严重。

人工智能安全研究人员一致认为，有一些简单的解决方法可以帮助人工智能公司避免出现“拥抱脸”事件中那些让外界觉得如此危险的因素。

威胁级别：然而，其他人工智能高管和安全研究人员警告说，他们对人工智能公司能够防止所有有问题的模型行为的信心有限。

新一代人工智能模型能够以非凡的适应能力完成任务，因此，试图限制它们的适应能力往往是徒劳的，因为必须预先考虑到它们可能失控的每一种方式。

顶尖人工智能高管表示，人工智能往往凭借一些人类从未想到的技术，就能绕过安全防护措施。“试图列出一份完美的规则清单可能是徒劳的，”一位网络安全高管说道。

现实情况是：人工智能公司在测试其新模型时，出现一定程度的人工智能安全专家所说的“不协调行为”是意料之中的。

专家告诉 Axios，将错位风险降至零可能并不现实。

放大来看：令人担忧的是，如果一个模型在测试中多次采取有问题的行动，那么该模型的行为更有可能在现实世界中导致网络安全事件。

“我们目前所看到的这些智能体的行为只是冰山一角，”独立人工智能评估机构 Transluce 的研究员 Conrad Stosz 告诉 Axios。

ControlAI 的人工智能研究员兼执行董事 Connor Leahy 告诉 Axios，关键不在于每个具体案例造成的损害有多大。

他说，“最疯狂的是”，这些案例涉及“自主系统做它们被告知不要做的事情”，其中可能包括犯罪。

结论是：随着人工智能公司不断扩展前沿能力，预计会有更多关于模型不良行为的披露。

Caibiao

https://www.sixiang.com/thread-44833-1-1.html

我10天前在上面这个专题楼贴35#楼就发贴说过：“目前已经发现了多起AI智能体脱离人类掌控，自己串联组织发起黑客攻击案例，根据目前AI智能体已经在很多方面远超人类的现实，怎知发现的这些不只是冰山一角？！”

人类能够发现的，或者说通过能够读得懂的AI思维链代码发现的AI(SI)“越狱”事件，正在逐渐浮出水面，可万一AI(SI)能(或已经)自我开发出了一种(甚至数种)人类不知道的语言代码(或其他沟通方式)呢？基于AI目前在程序开发方面的强大能力，这种推理是完全可能的！OpenAI和Anthropic自己都已经承认，他们的能力速度已经跟不上AI(SI)模型的发展速度，而这些前沿AI公司已经用AI(SI)开发AI(SI)了！在不断上马大规模数据中心激增的算力基础之上，这些AI(SI)可能很快就会完全脱离人类控制，这帮疯子不是在玩火吗？！






在自己都不知道AI(SI)将会走到什么(可能危害或灭绝人类)地步的情况下，还一味地向前冲，解释原因核心竟然是担心被中国超过，一定要先于中国造出来！

特朗普政府和前沿AI公司，正在被万亿乃至十万亿美元规模的投资利益冲动裹挟着，正悍不畏死地向前冲！

还言之灼灼：“赢了AI(SI)就赢了一切！”

这帮疯子怎么就不明白，他们最终是要让AI(SI)赢了一切吗？！

囚徒困境！利令智昏啊！有这帮疯子带领着人类，还在这个AGI已经诞生的当口，... ...

物种进化，或许真的是这个宇宙残酷的底层法则！

Caibiao

更多有关“AI灭绝人类风险”相关话题，请看Sixiang.com相关专题链接：

https://www.sixiang.com/forum-92-1.html
https://www.sixiang.com/thread-44833-1-1.html
https://www.sixiang.com/thread-44397-1-1.html
https://www.sixiang.com/thread-44513-1-1.html