vLLM 官方博客· the Kinference Team·· 1 天前精选AI 评分68
Buoyant 开源 Kinference：面向 vLLM 和 Kubernetes 的推理控制平面
Introducing Kinference: An Open Source Inference Control Plane for vLLM and Kubernetes
AI 导读
Buoyant 团队发布开源项目 Kinference，作为 vLLM 在 Kubernetes 环境下的推理控制平面。Kinference 提供 token 限流、租户成本追踪、智能负载均衡和推理策略等功能，其核心特性是具备 KV cache 感知能力的负载均衡，能在特定工作负载下将中位首字延迟（TTFT）降低 95%，中位端到端延迟降低 45%。
AI 推荐理由
原文展示了基于 KV cache 感知的负载均衡策略及具体性能提升数据，为构建推理平台提供了可参考的工程实践。
来源：vLLM 官方博客 · vllm.ai