MoE 模型推理中的计算与数据移动机制解析

Mixture of Experts (MoE) 架构改变了前沿模型的推理服务结构与经济性，需区分 Prefill、Midfill、Decode attention 和 Decode experts 四种工作模式。这些模式在算术强度、内存移动及网络带宽需求上存在显著差异，影响 vLLM、NVIDIA Dynamo 等编排层与推理服务器的调度策略。