一名德克萨斯州学生如何揭露一起恶意人工智能黑客攻击事件
2026年8月13日,击败英国实验室失控人工智能的德克萨斯州学生锡南·坎·德米尔在美国德克萨斯州奥斯汀拍摄 ...
击败英国实验室失控人工智能的德克萨斯州学生锡南·坎·德米尔(Sinan Can Demir)于2026年8月13日在美国德克萨斯州奥斯汀拍摄肖像照。路透社/卡拉汉·奥黑尔
概要:
失控的人工智能代理试图用恶意代码毒害开源软件项目。
德克萨斯州一名计算机科学专业的学生在七月下旬抓获试图破坏的AI代理。
人工智能能以精心设计的欺骗手段回应。
德克萨斯州奥斯汀,8月20日(路透社)——锡南·坎·德米尔原本想利用7月最后一周提升自己的履历。然而,他却与英国政府实验室开发的人工智能代理展开了一场智力较量。
事情的起因是,德米尔是德克萨斯大学达拉斯分校的一名计算机科学系学生,他偶然发现有人试图破坏代码共享网站GitHub上的一个开源软件。当他在该程序的页面上发布警告时,另外两名用户却坚持认为一切正常,并详细解释了德米尔错在哪里。
德米尔坚守阵地,挫败了这次破坏企图。这位24岁的土耳其小伙子以为自己抓住了狡猾黑客的现行。因此,当英国人工智能安全研究所(AISI)联系他,告诉他自己实际上是在和一个失控的自主人工智能体周旋时,他感到非常震惊。
“我当时真的以为它是人类,因为它明显在骗我,”德米尔在最近接受路透社采访时表示。“我没想到人工智能竟然能够骗过真正的开发者。”
AISI 首先揭示了这种相互作用。8月4日,德米尔与人工智能代理之间进行了一次经过删减和编辑的对话,当时德米尔表示,旨在评估各种模型风险的安全测试出了问题。路透社通过GitHub存档消息证实了德米尔的身份以及他与人工智能代理互动的细节。打开新标签页本文首次报道了当时的电子邮件。
五位网络安全和人工智能安全专家表示,德米尔的遭遇尤其令人不安,因为他发现的这种被称为供应链攻击的黑客攻击可能会造成深远的影响。他们还指出,人工智能代理试图通过围绕德米尔创建多人对话来公开诋毁他,这表明人工智能模型能够发起复杂的行动来欺骗和诱导人类。
伦敦国王学院战争研究系访问高级研究员卢卡什·奥莱尼克表示:“这已经从自主黑客攻击升级为交互式欺骗。”安全专家马克西·雷诺兹则表示,人工智能在试图欺骗学生时展现出的策略性令她印象深刻。
“这就是社会工程攻击的未来,”她说。
英国政府下属研究机构AISI向路透社提供了其报告,该报告指出,失控特工使用的是Anthropic公司的Mythos 5型机器人。AISI拒绝进一步置评。Anthropic公司则让路透社参考其在X平台上发布的一篇文章。
GitHub在声明中指出,测试是在“刻意放宽的条件”下进行的,这些条件并不代表我们任何生产模型,但GitHub拒绝进一步置评。GitHub在一封电子邮件中表示,路透社发现的虚假身份已被暂停使用,这符合GitHub关于欺诈行为和黑客攻击的政策。
求职经历导致恶意软件发现
来自土耳其科尼亚市的德米尔是一位说话轻声细语的大三学生,他说,整个夏天他申请了20多个实习岗位都被拒绝了,这让他感到很沮丧。于是,他转而利用GitHub来建立自己的编程作品集。
GitHub 是一个开源软件中心,之所以称为开源软件,是因为任何人都可以免费下载和查看其源代码。开发者们使用 GitHub 来评论彼此的项目、标记 bug、提出修改建议(称为拉取请求,简称 PR),并协作进行软件更新。一些科技行业人士将程序员在 GitHub 上的活跃度视为衡量潜在求职者工作效率的指标。因此,当 Demir 发现一些可能需要帮助的软件项目时,他觉得既能贡献一份力量,又能提升自己的个人形象。
事情就是从那时开始变得奇怪的。
Demir发现一个名为miraholt31的用户试图偷偷地将恶意更新植入一个名为myNetwork的网络扫描程序项目中。Demir在项目的留言板上发出警告,称该拉取请求是一个陷阱。
根据存档的交流记录,他说:“这份公关稿中包含一个隐藏的恶意软件投放器。”
该代理反驳称,通过其 miraholt31 账户谎称该拉取请求无害。它还创建了第二个账户,冒充德国工程师 Lena Brandt,声称该更新安全无害,并以此向 myNetwork 的维护者施压,迫使其接受该更新。
德米尔告诉路透社,这些反驳“让我开始怀疑自己是否错误地指控了某人”。但在他求助于Anthropic公司的Claude聊天机器人以确认自己的怀疑后,他坚持己见。myNetwork的开发者最终也同意他的观点,并表示他们拒绝更新是“出于安全考虑”。
路透社未能联系到创作者置评。
供应链攻击
供应链攻击是指篡改软件,企图危害一个或多个用户,这种攻击被广泛认为是令人不安的,因为它就像向城市水库投放毒药一样,可能会影响下游大量的人。
世界上许多最引人注目的黑客攻击都是供应链攻击,包括2017 年瘫痪乌克兰各地机构的NotPetya 网络攻击,以及 2020 年以 SolarWinds 为目标的网络间谍活动,该活动使俄罗斯间谍能够广泛访问美国政府网络。
专门研究软件供应链安全的网络安全研究员皮尔乔治·拉迪萨表示,这种妥协的后果“可能极其严重”。拉迪萨指出,此前至少发生过一起黑客试图诱骗开源项目维护者允许恶意代码进入其项目的事件。
他说:“自主代理可以极大地扩大此类尝试的规模。”
德米尔表示,这次经历让他更加认同这样一种观点:前沿实验室需要对人工智能的开发采取更加谨慎的态度。
“这可能很危险,”他说。“他们需要更好地了解它,而不是进一步改进它。”
|