SPEX 与 ProxySPEX:大规模识别 LLM 交互的算法
Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法,利用稀疏性和低阶性假设高效识别大语言模型中的关键交互。ProxySPEX 引入层级结构观察,在保持性能的同时将消融次数减少约 10 倍。这些框架支持特征、数据及模型组件归因,解决了传统方法在规模扩展下的计算不可行问题。
Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法,利用稀疏性和低阶性假设高效识别大语言模型中的关键交互。ProxySPEX 引入层级结构观察,在保持性能的同时将消融次数减少约 10 倍。这些框架支持特征、数据及模型组件归因,解决了传统方法在规模扩展下的计算不可行问题。
Berkeley AI Research在NeurIPS 2025发表研究,提出利用互信息直接评估和优化成像系统。该方法仅依赖噪声测量数据与已知噪声模型,无需任务特定解码器或端到端训练。实验表明其预测性能优于传统指标,且在色彩摄影、射电天文等四个领域以更低内存和计算成本匹配SOTA方法。