跳到正文
今天10月11日周日3 条
  1. The Verge · AI58

    微软 CEO 纳德拉称应假定所有 AI 模型都已被攻陷

    微软 CEO 纳德拉在 X 发长文谈高级 AI 模型的风险,主张应假定模型已被攻陷并从一开始就加以隔离,就像给 AI 装一个紧急刹车,授权人员应能随时暂停或关闭正在执行任务的模型。他还呼吁建立更透明的体系,让模型可被隔离、可被观察,并留下防篡改的人类可读证据,同时提出及时披露事件、独立审计和可验证数据等建议。文中他多次用超级智能一词指代 AI。

  2. TechCrunch · AI62

    微软 CEO 纳德拉称 AI 模型需要紧急刹车

    微软 CEO Satya Nadella 在 X 发帖称,应重新审视 AI 的信任架构,不能把超级智能当作嵌套黑盒来接受或拒绝其建议、答案和行动。他提出把模型与编排其工作的 harness 分离、将控制与保障措施外置,并要求每个有意义的模型动作都留下防篡改、人类可读的证据,同时让授权人员始终能在任务中途暂停或关闭模型。

10月9日周五
  1. Simon Willison30

    Matthew Green:AI 冲击下公钥加密或面临信心危机

    密码学家 Matthew Green 认为,人类更换加密标准的速度与 AI 制造意外进展的速度相差数个数量级,因此只有提前准备才能从这类冲击中恢复。他给出主观概率:1% 可能身处公钥加密不可能实现的 Minicrypt 世界,15% 可能功能性失去对现有公钥加密算法的信心。Simon Willison 补充,Minicrypt 是 Russell Impagliazzo 提出的假想世界。

  2. MIT Technology Review · AI34

    我们是否过度信任 AI 说"不"的能力

    MIT Technology Review 刊文指出,AI 的拒绝能力已成为 AI 安全的核心机制,但这一机制并不可靠。Anthropic 2021 年提出大语言模型应"有用、诚实、无害",如今模型经大量拒绝训练后仍常出现失败,部分用户正试图用最先进 AI 研发生物病原体和自主无人机蜂群。文章认为,拒绝机制的边界由 AI 公司秘密划定,政府也将介入,而拒绝能力越强,越可能被用于压制异见。

10月8日周四
  1. MIT Technology Review · AI20

    AVEVA 如何为自主工业 AI 构建更安全的落地路径

    AVEVA 首席技术官 Arti Garg 提出,工业 AI 正从预测分析转向基础模型、physical AI 与 agentic AI,但因其直接作用于物理系统,安全与可靠性成为部署核心。AVEVA 的责任 AI 框架强调安全、效率与人类监督,主张 AI 应增强而非取代关键决策中的人。Garg 还参与 IEEE 工作组,制定覆盖电力、能源、水资源与碳的 AI 环境影响测量标准方法。