前 Open AI 员工称 一半 AGI 安全团队员工已离职
【新闻速递】综合报道
根据前Open AI 治理研究员（OpenAI governance researcher）丹尼尔·科科塔伊洛（Daniel Kokotajlo）的说法，在过去几个月里，曾专注于超级智能AI长期风险（long-term risks of superpowerful AI）的几乎一半 OpenAI 员工已经离开了公司。
OpenAI 是开发AI 助手 ChatGPT 的公司，被广泛认为是AI开发领域的先锋之一。公司创立时的使命是开发被称为“通用人工智能”（AGI）的技术，即能够执行目前由人类完成的大多数经济价值工作并“造福全人类”的自主系统。
由于这种系统可能带来重大风险，包括可能脱离人类控制并对全人类构成存在性威胁，Open AI 自成立以来便雇用了大量研究人员，专门研究 “AGI 安全性”，即确保未来 AGI 系统不会带来灾难性甚至存在性危害的技术。
然而，科科塔伊洛表示，最近的辞职潮导致这群研究人员的人数锐减。离职人员包括多位核心成员以及公司联合创始人之一约翰·舒尔曼（John Schulman）。这些离职紧随5月份的重大辞职事件，首席科学家伊利亚·苏茨凯弗（Ilya Sutskever）和 “超级协同”（superalignment）团队的另一位联合负责人简·莱克（Jan Leike）辞职后发生。
科科塔伊洛指出，自2024年开始，OpenAI 在 AGI 安全问题上的员工数量已经从大约30人减少到16人左右。公司内部对 AGI 安全和准备工作的重视程度逐渐下降。
科科塔伊洛还提到，尽管仍有一些研究人员继续在其他团队中从事与 AGI 安全相关的工作，但 OpenAI 内部的环境已经发生了变化，越来越多的决策受到公司通讯和游说部门的影响，可能导致研究发布受到限制。
虽然 OpenAI 对外表示对其 AI 系统的能力和安全性记录感到自豪，但该公司对涉及 AGI 风险的立法，如加州的 SB 1047法案，持反对态度。这引发了有关科技巨头在开发 AGI 时是否谨慎行事，以及商业动机是否导致公司采取可能带来危险的行为的质疑。
科科塔伊洛表示，他对 OpenAI 文化变化的担忧早在2023年11月董事会动荡之前就开始了。当时，OpenAI 的首席执行官萨姆·奥特曼（Sam Altman）被解雇后又迅速复职。与此同时，董事会中三名专注于 AGI 安全的成员被移除。科科塔伊洛认为，这一事件标志着 OpenAI 方向的转变。
他提到，那些主要关注 AGI 安全和准备工作的人越来越被边缘化。然而，许多 AI 研究领导者，包括前Google Brain 联合创始人吴恩达（Andrew Ng）、斯坦福大学教授李飞飞（Fei-Fei Li）和Meta首席科学家 Yann LeCun，认为 AI 安全社区对 AI 威胁的关注被过度夸大。他们认为 AGI 仍需几十年才能实现，而当前的AI可以帮助解决真正的生存风险，如气候变化和未来的大流行病。此外，他们还认为，对AGI风险的过度关注可能导致法律压制创新，阻碍模型开发者，而不是专注于 AI 模型的应用。
这些批评者指出，加州的 SB 1047法案就是一个例子。该法案旨在为最强大的AI模型的发展和使用设置保护措施。科科塔伊洛对 OpenAI 反对SB 1047的态度感到失望，但并不意外。他还提到，与前同事威廉·桑德斯（William Saunders）一起撰写了一封信，认为 OpenAI 对该法案的反对“不是真诚的”。
据悉，留下的一些人已经转移到其他团队，在那里他们被允许从事类似的项目。当然，公司里还有其他人专注于 OpenAI 当前 AI 模型的安全性。在解散超级对齐团队后，OpenAI 于 5 月宣布成立一个新的安全委员会。本月，OpenAI 任命卡内基梅隆大学（Carnegie Mellon University）教授 Zico Kolter 为董事会成员，他的工作重点是人工智能安全。
尽管如此，科科塔伊洛并不后悔加入OpenAI。他表示，他在公司学到了很多有用的东西，并且认为自己可能做出了积极的贡献，但他也遗憾没有更早离开公司。
科科塔伊洛警告说，在最大AI公司争相开发AGI的过程中，公司内部可能会产生群体思维。他认为，公司可能会因为多数人的想法和利益驱动，得出“赢得AGI竞赛对人类有利”的结论。
据 The National CIO Review 报道，尽管 OpenAI 已经设立了新的结构，如安全和保障委员会来监督这些问题，但在大量 AGI 安全团队关键研究人员离职的情况下，这些新措施的有效性尚有待观察。此外，这些离职可能向更广泛的AI社区和监管机构发出信号，表明 OpenAI 可能正在偏离其最初的以安全为先的使命，这可能会影响该公司未来的公众形象和监管环境。
