SemiAnalysis 解析 GLM-5.3 稀疏注意力对 HBM 内存的影响及服务优化

SemiAnalysis 指出稀疏注意力虽降低了 SDPA 操作的带宽需求，但 top-k 选择仍需完整上下文驻留 HBM，并未消除整体内存容量瓶颈。文章介绍了 SGLang 的 HiSparse 分层内存系统，通过将 KV cache 卸载至 DRAM 并结合层级重叠技术来提升高并发吞吐量。