Buoyant开源Kinference推理控制平面
热点事件观察中
Buoyant开源Kinference推理控制平面
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Buoyant 团队发布了开源项目 Kinference，这是一个面向 vLLM 在 Kubernetes 环境下的推理控制平面。该项目采用 Apache v2 许可证开源，并已在 GitHub 上线。 Kinference 提供 token 限流、租户成本追踪、智能负载均衡和推理策略等功能。其核心特性是具备 KV cache 感知能力的负载均衡，Buoyant 称该功能能在特定工作负载下将中位首字延迟（TTFT）降低 95%，中位端到端延迟降低 45%。
AI 根据报道生成 · 59 分钟前更新
最新进展11月4日 08:00
Buoyant 开源 Kinference：面向 vLLM 和 Kubernetes 的推理控制平面报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- vLLM 官方博客精选Buoyant 开源 Kinference：面向 vLLM 和 Kubernetes 的推理控制平面
Buoyant 团队发布开源项目 Kinference，作为 vLLM 在 Kubernetes 环境下的推理控制平面。Kinference 提供 token 限流、租户成本追踪、智能负载均衡和推理策略等功能，其核心特性是具备 KV cache 感知能力的负载均衡，能在特定工作负载下将中位首字延迟（TTFT）降低 95%，中位端到端延迟降低 45%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。