vLLM 官方博客· Tenstorrent Team·· 2026-09-07AI 评分58
vLLM 发布 TT Plugin 支持 Tenstorrent 硬件推理
Serving LLMs on Tenstorrent Hardware: Inside the vLLM TT Plugin
AI 导读
vLLM 推出 TT Plugin,通过标准插件机制将 Tenstorrent 加速器接入 vLLM,保持 OpenAI 兼容 API 不变。该方案利用编译式网格程序实现相位约束调度、单进程 Lane 数据并行及端侧采样,解决了非 GPU 架构与现有推理栈的兼容性问题。目前支持 Llama、Qwen、GPT-OSS 等多模态模型,暂不支持推测解码和 LoRA。
来源:vLLM 官方博客 · vllm.ai