vLLM 官方博客· Ant Group and the vLLM Community·· 5 小时前精选AI 评分73
蚂蚁集团与 vLLM 社区开源 Humming：面向量化推理的高性能内核库
Announcing Humming: Fast, Flexible Kernels for Quantized Inference
AI 导读
蚂蚁集团与 vLLM 社区联合开源了通用高性能量化推理内核库 Humming。该库支持从 Turing 到 Blackwell 的 NVIDIA GPU 架构及 T-Head Zhenwu 810E，覆盖 W4A16、W8A8、W4A8 等多种量化组合。
AI 推荐理由
原文展示了 Humming 在多种量化格式下的性能优势及与 vLLM 的深度集成，为开发者提供了高效的推理加速方案。
来源：vLLM 官方博客 · vllm.ai