SemiAnalysis分析为何4-hi HBM成为AI推理最优解

SemiAnalysis指出随着推理负载占比提升和机架级规模扩大，高堆叠HBM带来的额外容量收益递减，4-hi HBM因提供最佳带宽成本比而成为未来趋势。文章以Kimi K3为例进行Roofline分析，显示在满足最低交互延迟SLA时，8-hi和12-hi HBM的系统成本增幅远超其吞吐量提升，导致单Token成本高于4-hi方案。