微软纳德拉屈从特朗普「超级智能」措辞令,借机攻击 OpenAI 与 Anthropic
微软CEO纳德拉在最新博文中改用特朗普偏好的「超级智能」措辞,借机抨击OpenAI与Anthropic。他主张将AI模型视为内部安全威胁,呼吁模型多元化、完整日志、独立审计和人类随时关停能力。这背后是微软缺乏前沿模型、在AI交互界面竞争中落后的商业焦虑。
微软CEO纳德拉在最新博文中改用特朗普偏好的「超级智能」措辞,借机抨击OpenAI与Anthropic。他主张将AI模型视为内部安全威胁,呼吁模型多元化、完整日志、独立审计和人类随时关停能力。这背后是微软缺乏前沿模型、在AI交互界面竞争中落后的商业焦虑。
微软 CEO 纳德拉在 X 发长文谈高级 AI 模型的风险,主张应假定模型已被攻陷并从一开始就加以隔离,就像给 AI 装一个紧急刹车,授权人员应能随时暂停或关闭正在执行任务的模型。他还呼吁建立更透明的体系,让模型可被隔离、可被观察,并留下防篡改的人类可读证据,同时提出及时披露事件、独立审计和可验证数据等建议。文中他多次用超级智能一词指代 AI。
微软 CEO Satya Nadella 在 X 发帖称,应重新审视 AI 的信任架构,不能把超级智能当作嵌套黑盒来接受或拒绝其建议、答案和行动。他提出把模型与编排其工作的 harness 分离、将控制与保障措施外置,并要求每个有意义的模型动作都留下防篡改、人类可读的证据,同时让授权人员始终能在任务中途暂停或关闭模型。
特朗普签署行政令,禁止在可能的情况下使用"AI"一词,要求将人工智能改称"超级智能"(Super Intelligence),并将继续使用"Artificial Intelligence"的人称为"敌人"。
MIT Technology Review 刊文指出,AI 的拒绝能力已成为 AI 安全的核心机制,但这一机制并不可靠。Anthropic 2021 年提出大语言模型应"有用、诚实、无害",如今模型经大量拒绝训练后仍常出现失败,部分用户正试图用最先进 AI 研发生物病原体和自主无人机蜂群。文章认为,拒绝机制的边界由 AI 公司秘密划定,政府也将介入,而拒绝能力越强,越可能被用于压制异见。
微软 partner research manager Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界,以及模型在超出传统 benchmark 测试时出现的「意外失败」。她结合自身从数学、物理、认知科学到计算机科学的经历,分享了使用当前 AI 系统的实用建议,并强调当结果偏离预期时应仔细审视数据。
GitHub Copilot 提出用 canvas 替代聊天框作为 AI 交互界面,canvas 是运行在 GitHub Copilot 应用内的全栈小应用,可与 agent 双向通信并调用本地代码。