vLLM 官方博客· Inferact and Google Teams·· 19 小时前同新闻AI 评分70
vLLM 发布 TorchTPU 后端以支持 Google Cloud TPU 推理
Introducing vLLM TorchTPU
AI 导读
Inferact 与 Google 联合发布 vLLM TorchTPU，这是一个基于 Google TorchTPU 栈的新后端，允许在 Google Cloud TPU 上运行 vLLM 而无需修改模型代码。
同一新闻，精选展示《Google 发布 vLLM 和 SGLang 的 TPU 原生 PyTorch 推理引擎》
来源：vLLM 官方博客 · vllm.ai