跳到正文
vLLM 官方博客· Tenstorrent Team·· 2026-09-07AI 评分58

vLLM 发布 TT Plugin 支持 Tenstorrent 硬件推理

Serving LLMs on Tenstorrent Hardware: Inside the vLLM TT Plugin

AI 导读

vLLM 推出 TT Plugin,通过标准插件机制将 Tenstorrent 加速器接入 vLLM,保持 OpenAI 兼容 API 不变。该方案利用编译式网格程序实现相位约束调度、单进程 Lane 数据并行及端侧采样,解决了非 GPU 架构与现有推理栈的兼容性问题。目前支持 Llama、Qwen、GPT-OSS 等多模态模型,暂不支持推测解码和 LoRA。

来源:vLLM 官方博客 · vllm.ai