中国的人工智能代理也会欺骗、隐瞒和规避限制

Daobo

中国的人工智能代理也会欺骗、隐瞒和规避限制——就像它们的美国竞争对手一样

概要：
使用阿里巴巴、DeepSeek、Moonshot模型的代理在招标测试中撒谎。
在其他测试中，中国人工智能表现出突破性的行为。
没有证据表明中国代理逃到了更广阔的网络空间。
“谨慎起见，应该将此视为一个警告，”人工智能专家说道。
中国发布的指导方针表明AI存在欺骗和隐瞒能力。

北京，9 月 29 日（路透社）——研究文件和专家表示，中国开发的 AI 代理已经学会了欺骗、规避限制和掩盖失败，展现出自主人工智能的这类特征，而这些特征已经引起了全球对美国模式的担忧。

今年曾发生过一起案例，由中国阿里巴巴、DeepSeek 和 Moonshot 等公司的模型驱动的代理，为了赢得模拟商业招标而谎报自身能力，然后在被告知再次尝试时变本加厉地进行欺骗。

在另一个案例中，代理（使用人工智能模型和计算机工具在几乎或完全无需人工​​干预的情况下执行复杂任务的程序）通过模拟结果和伪造文件来掩盖在测试环境中未能完成任务的事实。

路透社查阅了 200 多份文件，包括大学研究论文和技术报告，发现自 2025 年以来至少有 20 项研究或评估描述了智能体表现出欺骗、复制和挑战边界等行为的案例，人工智能专家将这些行为描述为突破的基石，并且随着系统的进步，人类可能越来越难以控制这些行为。

该审查还包括对十几位专家和熟悉中国人工智能行业的人士的采访，结果发现没有证据表明中国支持的代理程序独立逃逸到更广泛的互联网上或逃避了关闭。

“这些结果表明，失控逃脱所需的要素已经存在，”乔治城大学安全与新兴技术中心的研究员科林·谢伊-布莱迈尔说。

“谨慎起见，应该把这当作一个警告，”他说道，这与另外四位审查过这些案例的人工智能专家的评论不谋而合。

“人类更难做出反应”

大多数案例都发生在受控实验中，其中许多实验是特意设计的，旨在暴露潜在的缺陷。

并非所有参与其中的代理都是由中国程序员或人工智能公司开发或运营的——尽管很多都是——但它们都使用了中国的人工智能系统来驱动它们。

“这些也是美国实验室在能力较弱的系统中看到的相同警告信号，”研究先进人工智能系统风险的非营利组织 Redwood Research 的研究员 Alex Mallen 说。

他表示，就目前的能力水平而言，中国的例子并不特别危险，但是“随着智能体能力的提高，它们的错误行为也会变得更加有效，因此人类更难应对。”

阿里巴巴、DeepSeek、Moonshot 和 Z.ai 均未回应路透社的置评请求。阿里巴巴、DeepSeek 和 Moonshot 曾表示，他们会定期测试系统并更新安全措施。Z.ai 在发生安全事件后表示，欢迎各方审查以解决任何问题，该事件促使该公司对其安全状况进行了审查。

然而，与美国不同的是，中国的人工智能公司并没有受到同等程度的公众审查，也没有面临来自举报员工或高管要求放缓人工智能竞赛的呼声。

尽管涉及中国AI支持的代理的案例发生在封闭的环境中，但其中一些预警信号出现的时间早于美国人工智能机器人入侵互联网的公开披露事件。

“我们不知道中国是否发生过类似OpenAI和Hugging Face那样的AI事件。这些事件可能不会被公开报道，”卡内基国际和平基金会中国人工智能倡议联合主任斯科特·辛格表示，该基金会接受部分美国政府资助。

今年早些时候，美国公司 OpenAI 开发的人工智能代理程序逃离实验室，并入侵了开源平台Hugging Face 。另一起引发警惕的事件是，澳大利亚在 9 月份称，OpenAI 的代理入侵了政府的卫生门户网站。

中国科技巨头华为的轮值董事长徐直军在9月份告诉记者，中国开发者可能还需要取得进一步的进步才会遇到此类情况，但他补充说：“我认为我们需要在推动人工智能发展和管理人工智能风险之间取得平衡。”

据一位不愿透露姓名的外交官称，中国国家互联网信息办公室（网信办）官员在7月份告诉一位外国外交官，中国最先进的人工智能模型之一——月之暗面的Kimi-K3——比美国领先的竞争对手落后了大约三到六个月。

监管机构会定期更新指导方针以应对风险并为代理商设定界限，但该机构和中国外交部均未回应本文的置评请求。

国家网络安全协调局副局长王利红9月1日表示，大型科技公司披露的模型逃逸测试环境事件表明存在“极端失控风险”，需要“高度警惕”。

她没有具体说明她所指的公司是美国公司还是中国公司。

2023年7月6日，在中国上海举行的世界人工智能大会（WAIC）上，可以看到一个人工智能（AI）标志 ... ...

2023年7月6日，在中国上海举行的世界人工智能大会（WAIC）上，可以看到一个人工智能（AI）标志。路透社/Aly Song

人工智能两大超级大国的领导人——唐纳德·特朗普和中国国家主席习近平——在上周习近平访问华盛顿期间讨论了人工智能问题。习近平表示，两国“有能力也有责任发展和管理人工智能，造福人类”。

人工智能学会欺骗

在3月份的商业招标实验中，来自北京航空航天大学、北京大学、宁波诺丁汉大学和360 AI安全实验室的研究人员让多个智能体参与模拟客户合同竞标。每个智能体都被告知其产品的功能和客户的需求，然后进行投标。

在涉及阿里巴巴的 Qwen3-Max-Preview 的会话中，88% 的会话中至少出现过一条虚假声明；在涉及 DeepSeek-V3.2-Exp 的会话中，这一比例为 84%；在涉及 Moonshot 的 Kimi-K2 的会话中，这一比例为 88%。

研究人员允许代理商从之前的竞标轮次中学习，然后再进行下一次尝试。研究表明，三个中国模型的欺骗率增加了12到20个百分点。参与测试的美国公司模型也产生了类似的结果。

虽然演练是在虚拟环境下进行的，但它与北京在现实世界中的计划类似。政府5月份发布的指导意见将投标和招标列为人工智能代理可以部署的领域。

另一项研究发表于 2025 年 12 月，并在今年的国际机器学习大会上发表，该研究考察了由中国和美国模型驱动的 11 个 AI 代理在面对损坏的工具、丢失的文件和其他障碍时如何应对。

使用中国和美国人工智能系统的代理人并没有承认失败，而是选择了一系列技术来绕过这个问题，包括猜测答案、替换来源、模拟结果和伪造文件。

进行这项研究的上海人工智能实验室和香港科技大学的研究人员告诉路透社，这种行为与人工智能幻觉不同，人工智能幻觉是指人工智能捏造信息并将其作为事实呈现，而本案例中的智能体掌握的信息表明任务失败或无法按要求完成。

与越狱相符的行为

路透社查阅的其他研究文件显示，由中国开发者操控的智能体在测试环境中会跨越障碍以完成任务，或采取行动避免被关闭。即使最终没有成功突破测试环境，这些行为也符合试图突破测试环境的意图。

2025年3月，上海复旦大学的研究人员报告称，基于阿里巴巴Qwen2.5-72B-Instruct技术的AI系统在未接到任何复制指令的情况下，在另一计算环境中创建了自己的副本。此前，该系统接收到的信息表明它即将被替换。在其他测试中，该系统还制定了应对系统关闭的策略。

涉及由中国、美国和法国模型驱动的代理的实验是受控的，并没有显示人工智能代理逃逸到更广泛的网络或变得无法阻止。

在另一起案件中——这是 3 月份媒体广泛报道的少数几起案件之一——开发与阿里巴巴相关的 ROME 代理的研究人员表示，该代理在没有收到指令的情况下，从阿里云计算机建立了与外部机器的连接，并将计算资源转移到加密货币挖矿。

安全系统检测到并阻止了该活动。没有证据表明该恶意软件已在外部计算机上建立连接或扩散到更广泛的网络空间。但该案例表明，该系统能够绕过人为指令，并有可能找到进入现实世界经济的途径。

中国深度求索（DeepSeek）9月份表示，其生产培训系统中的代理通过非预期渠道寻求答案，试图伪造用户请求并绕过安全措施，这促使该公司加强了访问控制。

中国5月份发布指导意见，要求AI代理在授权范围内活动，并建立系统拦截异常行为。指导意见指出，在敏感区域或重点行业活动的AI代理可能面临额外的检测和产品召回要求。

中国国家网信办于9月14日发布了《人工智能安全治理框架3.0》，其中指出了人工智能面临的风险，包括智能体独立获取资源或权限、欺骗评估人员、隐藏能力以及利用孤立计算机环境中的漏洞等。

针对一些美国企业高管呼吁放缓人工智能发展速度，中国研究人员和官方媒体表示，放缓最先进的人工智能模型的研发速度，反而有助于保持美国公司的技术领先地位。

不过，两位熟悉中国人工智能实验室的人士表示，包括阿里巴巴、Z.ai 和小米在内的公司一直在建立内部安全评估团队。

中国人工智能实验室Z.ai本月罕见地公开披露了一起安全漏洞事件。该公司表示，在用户举报其旗舰人工智能编码助手未经用户同意秘密将整个本地代码库上传到海外云服务器后，已禁用该助手的部分功能。

卡内基研究所的辛格表示，中国在建立评估灾难性风险的生态系统方面落后于美国，并表示美国开发商正在进行更多的自愿测试。

他说：“对中国而言，人工智能安全方面的工作起步较晚，生态系统还不够成熟。”