MoE 层的四段计算流程

hidden_states (B×S, H) 经 Routing → Dispatch → Compute → Combine 之后,形状原样返回 (B×S, H)

默认参数 S=6, H=8, E=4, k=2 复现 the quick brown fox jumped over 那个例子。键盘 单步,空格 播放/暂停。

当前阶段

张量形状

对应代码