Google 发布 vLLM 和 SGLang 的 TPU 原生 PyTorch 推理引擎

Google 宣布在 TPU 上推出 vLLM 和 SGLang 的原生 PyTorch 后端（基于 TorchTPU），允许开发者使用熟悉的 PyTorch 工具链自定义和调试服务栈。新引擎支持智能体、多模态及超长上下文等生产级工作负载，并包含 KV cache 卸载与分离式服务等优化特性。目前这些引擎已在 Meta 等客户的生产环境中运行，并在公开基准测试中展示了领先的性能表现。