vLLM 在 Arm CPU 上的性能优化

vLLM 联合 PyTorch、oneDNN 等社区优化 Arm Neoverse 服务器上的大语言模型推理，通过启用 mimalloc 分配器和 LSE 原子指令解决瓶颈。Llama 3.1 8B 离线吞吐量提升 2.3 倍，低并发场景下 TPOT 延迟降低 15%。