MoE 层的四段计算流程
hidden_states
(B×S, H)
经 Routing → Dispatch → Compute → Combine 之后,形状原样返回
(B×S, H)
。
▶ 播放
←
→
↺
速度
tokens B×S
experts E
top-k
shared expert
重新路由
全屏
默认参数
S=6, H=8, E=4, k=2
复现
the quick brown fox jumped over
那个例子。键盘
←
→
单步,
空格
播放/暂停。
当前阶段
张量形状
对应代码