从 CUDA 到 MLX:K-Search 如何把内核优化经验带到 Apple Silicon
Berkeley AI Research 与 IBM Research 将演化式内核搜索框架 K-Search 扩展到 MLX 后端,通过结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核作为知识库适配 Apple Silicon。
推荐理由:K-Search 把 CUDA 内核优化经验迁移到 Apple Silicon,读者可看到跨硬件迁移的具体方法与实测差距。
Berkeley AI Research 与 IBM Research 将演化式内核搜索框架 K-Search 扩展到 MLX 后端,通过结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核作为知识库适配 Apple Silicon。
推荐理由:K-Search 把 CUDA 内核优化经验迁移到 Apple Silicon,读者可看到跨硬件迁移的具体方法与实测差距。
Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要以自然语言"信念状态"形式隔离并监督其信息内容,以应对长程交互中上下文无法无限扩展的问题。在协作编程基准 CollabBench 上,采用基于重构的信念评分后,ABBEL 将全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值 token 长度也显著低于全上下文设置。
伯克利 AI 研究团队梳理了并行推理领域进展,指出当前多数方法(如 Self-consistency、Best-of-N、Tree of Thoughts、MCTS)的并行结构由外部预设,而非模型自主决定。文章重点讨论自适应并行推理,即让模型自行判断何时分解任务、生成多少并行线程以及如何协调,并介绍了 ParaThinker、GroupThink、Hogwild! Inference 等近期方案。
伯克利 AI 研究团队提出梯度规划器 GRASP,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代中直接注入随机性以探索、并重塑梯度让动作获得清晰信号,同时避开高维视觉模型中脆弱的"状态-输入"梯度,使基于学习动力学(世界模型)的长时程规划变得可行。该工作与 Mike Rabbat、Aditi Krishnapriyan、Yann LeCun、Amir Bar 合作完成。
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法,可在特征归因、数据归因和机制可解释性中大规模识别驱动模型输出的关键交互。