Hugging Face Blog·· 13 小时前精选AI 评分73
PyTorch 2.15 发布:MPS 后端支持 FP8 并大幅提升 Mac 端 LLM 推理性能
MPS in PyTorch 2.15
AI 导读
PyTorch 2.15 正式引入对 Apple Silicon Mac 上 MPS 后端的重大更新,核心变化包括原生支持 FP8 张量存储与计算、MoE 模型解码速度提升 5–6.5 倍以及视频生成显存峰值从 270 GiB 降至约 8 GiB。
AI 推荐理由
PyTorch 2.15 大幅优化 Mac 端 MPS 后端,MoE 模型解码提速超 5 倍且显存占用显著降低,适合本地运行大模型的用户关注。
来源:Hugging Face Blog · huggingface.co