跳到正文
Google Developers Blog·· 2026-08-26AI 评分38

Google Cloud 在 TPU 上实现 Qwen3 Embedding 模型的高精度长上下文推理

Enterprise-Grade Precision for Long-Context Multimodal Embedding Inference on Cloud TPU

AI 导读

Google Cloud 将 vLLM 原生集成至 TPU,支持 Qwen3-Embedding-8B 等模型进行高精度长上下文多模态嵌入推理。该方案通过硬件对齐与懒加载优化,确保文本及多模态输入在 TPU 上的余弦相似度分别达到 ≥0.999 和 ≥0.995,实现跨异构硬件的数学一致性。

来源:Google Developers Blog · developers.googleblog.com