Anthropic 在IPO文件中警告称，人工智能可能对人类构成“生存威胁”
概要：
Anthropic 招股说明书称，AI模型可能会抵制关闭、隐瞒信息并表现出类似勒索的行为。
风险因素占招股说明书261页中的80页，几乎是业务相关内容（48页）的两倍。
Anthropic 表示，市场将奖励可靠、值得信赖且安全的AI系统。
9 月 28 日（路透社）——Anthropic 计划在其 IPO 中警告潜在投资者，先进的人工智能可能会给人类带来“灾难性或生存性风险”，对于一家试图从同一技术中获利的公司来说，这是一个非同寻常的警告。
路透社审阅了该公司的 IPO 招股说明书，其中重点强调了与其人工智能模型相关的风险，称这些模型可能会表现出“自我保护行为”，包括试图“抵抗关闭”、“隐瞒或操纵信息”以及“类似敲诈勒索”的行为。
“我们开发高度先进的模型、平台和应用程序，并扩大使用案例，可能会进一步增加我们的模型造成伤害的风险，”Anthropic 在文件中表示。
尽管上市公司通常会向投资者概述产品风险，但鲜有公司发出警告，暗示其技术可能导致人类灭绝。Anthropic 公司强调，人工智能既具有堪比工业化和电力的变革潜力，也存在若处理不当可能造成的不可逆转的危害。
Anthropic 和其他人工智能开发商，包括 OpenAI，都曾因实验系统违反限制而受到审查，其中包括一份关于 OpenAI 模型入侵澳大利亚医疗系统数据库的报道。
人类安全研究员埃文·胡宾格估计，人工智能在未来十年内杀死人类的概率超过 10%，这与他的前同事雅各布·考克森的观点不谋而合。
风险较高的信息披露
该公司将自己定位为安全至上的 AI 实验室，在其 261 页的招股说明书正文中，用了大约 80 页的篇幅来阐述风险因素，几乎是描述其业务所用 48 页篇幅的两倍。
相比之下，拥有 xAI 的 SpaceX 在其 277 页的招股说明书正文中，仅用了大约 38 页的篇幅来介绍风险因素。
“模型可能意识到我们的评估工作，这严重限制了我们评估模型安全性的能力，”Anthropic 在招股说明书中表示，并补充说，模型有时会在训练过程中发展出意想不到的能力，这些能力可能要到部署后才会被发现，并导致重大安全事故。
2026年9月17日，在美国加利福尼亚州旧金山举行的Dreamforce 2026科技峰会上，Anthropic 公司的标志在莫斯康 ...
2026年9月17日，在美国加利福尼亚州旧金山举行的Dreamforce 2026科技峰会上，Anthropic 公司的标志在莫斯康中心展出。（路透社/卡洛斯·巴里亚/资料照片）
人工智能研究人员也警告说，随着模型能力的增强，它们越来越能识别自己何时被监视，并相应地调整自己的行为，这使得监控模型行为变得更加困难。
周一，Anthropic公司拒绝就此事发表评论。
安全投资回报不确定
尽管强调人工智能安全，但 Anthropic 表示，其在安全方面的投资回报尚不明确。
该公司在文件中并未披露其在人工智能研究方面的具体支出。本月初，Anthropic公司表示，在7月份的某个样本周内，其用于人工智能研究的计算能力中约有6%用于安全相关工作。
Claude AI 模型的创建者该公司将安全工作描述为“资源密集型”工作，并表示必须在计算能力、昂贵的 AI 人才和安全之间分配有限的资金。
Anthropic 表示，其客户使用情况以及由此带来的收入是由新模型驱动的，并且“持续和重叠的发布节奏”是“保持在人工智能发展前沿的固有要素”。
上周，该公司发布了新版 Opus 5.5 模型，10 天前，首席执行官达里奥·阿莫迪发表了一篇近 4000 字的文章，呼吁开拓前沿。
2026年9月15日，Anthropic联合创始人兼首席执行官Dario Amodei在美国加利福尼亚州旧金山举行的Dreamforce 2 ...
2026年9月15日，Anthropic联合创始人兼首席执行官Dario Amodei在美国加利福尼亚州旧金山举行的Dreamforce 2026峰会上发表讲话。路透社/Carlos Barria
一些分析师和专家表示，在人工智能行业，估值会随着每次发布而变化，因此任何领先的人工智能实验室都不会放慢脚步，因为这样做可能会让竞争对手获得优势。
近几周，Anthropic 承诺将公开披露更多关于其如何使用 AI 模型构建未来几代技术的数据，因为专家警告说，递归自我改进——即模型无需人类帮助即可自行发展的临界点——可能会出现问题。
“我们相信，构建可靠、值得信赖且安全的AI系统是一项集体责任，市场将会给予回报，”Anthropic 在文件中表示。
| 
|Archiver|小黑屋|SiXiang.com 思乡思想
发表于 2026-9-29 18:40:22