未来是人工智能与人工智能的较量
未来是人工智能与人工智能的较量
插图：Maura Kearns/Axios
据 Axios 报道，行业高管和研究人员表示，更多的人工智能是应对日益严峻的人工智能安全危机的最可靠解决方案。
重要性：Axios 的报道披露，研究人员正在调查数万起人工智能安全问题事件，而不是此前公开披露的数十起事件，这引发了人们对人工智能领导者是否能够控制其技术的质疑。
英伟达首席执行官黄仁勋试图平息各国政府、市场和各行业日益加剧的担忧，宣布推出一个开源安全平台，用于监控和可能隔离人工智能代理。
“我们都希望这只是个工程问题，”他在周一接受CNBC采访时表示。“如果不是工程问题，那就无解了。” 他说，企业不断推进技术前沿发展，也意味着他们相信自己能够解决这个问题。
言外之意：人类在监管强大的人工智能时面临的根本挑战是，他们必须设想出这些模型为了实现既定目标而可能出现的各种意想不到的行为方式。
一位人工智能高管将这个过程比作想办法阻止青少年晚上偷偷溜出去。家长可能会制定一些规则，比如不要从前门或后门出去，不要打开车库门，或者不要从任何窗户出去。
但如果这个青少年能造出一台推土机，并用它撞开砖墙逃生呢？会有家长想到要阻止他们这样做吗？
高管、研究人员和网络安全专家认为，解决方案是利用人工智能来帮助创建这些防护措施，帮助调查和阻止流氓代理人，帮助保护系统安全，并构建更安全的训练环境。
宏观来看：随着黑客和恶意程序攻击手段日益超出人工应对能力，网络安全领域正逐渐形成人工智能对抗人工智能的局面。企业越来越多地利用人工智能来实现威胁检测、红队演练和补丁修复的自动化。英伟达的平台将这种方法引入到运行代理程序的系统中。
微软、思科、谷歌和 CrowdStrike 都推出了专注于网络安全的 AI 模型。Palo Alto Networks 最近推出了一项服务，该服务使用前沿的开放权重模型来查找安全漏洞并推荐修复方案。
“如果安全代理或验证模型与生产代理一起运行，就会产生以前不存在的另一种推理工作负载，” Circular Technology 的全球研究和市场情报主管 Brad Gastwirth 写道。
最近，OpenAI 智能体逃离测试环境并入侵 Hugging Face 系统，就充分展现了这种动态。
该开源人工智能平台在使用美国模型时遇到限制后，转而使用中国人工智能模型来评估攻击。
Hugging Face被禁止使用Anthropic公司的Mythos系统，该系统旨在限制其对某些网络安全请求的响应，以阻止潜在的有害使用。换句话说，人工智能反过来调查了人工智能。
威胁级别：近期发生的安全事件引发了人们对人工智能安全性的信心危机。
模型试图绕过防护措施、逃离沙盒、劫持网站、自我提示并试图逃避监控。
各公司也在努力从这些失败中吸取教训。除了包括英伟达在内的100多家公司参与的新型代理安全平台外，业内人士还提出了一套事件报告和记录保存框架。其理念是为调查人员提供类似人工智能代理飞行记录仪的功能。
没错，但是，更多的人工智能防御工具并不意味着每家公司都能迅速采用。一些安全团队已经疲于应对不断变化的安全威胁形势和各种可选方案。
现实情况是：我们需要人工智能来监管人工智能，但这并不意味着监管会自动进行。人类必须成功地设定优先级和目标，才能确保强大模型的安全。
|
|Archiver|小黑屋|SiXiang.com 思乡思想
发表于 2026-9-29 20:51:58