vLLM 官方博客· Mistral and the vLLM Team·· 2 天前精选AI 评分78
vLLM 发布 Mistral Large 4 Day-0 支持
Day 0 support for Mistral Large 4 on vLLM
AI 导读
vLLM 宣布对 Mistral Large 4 提供 Day-0 支持，该模型是 Mistral 推出的新前沿混合专家原生多模态模型。支持工作涉及模型运行器 V2、可中断 CUDA 图以及多项通用改进，包括解码上下文并行（DCP）、预填充上下文并行（PCP）、DSpark 投机解码和 HiSparse 主机内存 KV 卸载。
AI 推荐理由
原文详述了 vLLM 对 Mistral Large 4 的 Day-0 支持，涵盖架构适配、投机解码优化及跨平台部署细节，为高性能推理落地提供了完整技术参考。
来源：vLLM 官方博客 · vllm.ai