vLLM 官方博客· vLLM Team, Red Hat PyTorch Team, and Meta PyTorch Team·· 1 天前AI 评分40
vLLM 迁移至 LibTorch Stable ABI
Migrating vLLM to the LibTorch Stable ABI
AI 导读
vLLM 自 v0.33.0 起发布支持 LibTorch Stable ABI 的 CUDA wheels，实现更新 PyTorch 无需重新构建 vLLM。该迁移通过 C shim 和 dispatcher 调用解决二进制兼容性问题，虽存在少量主机端开销但无运行时性能回退。
来源：vLLM 官方博客 · vllm.ai