Expert Parallelism:两次 all-to-all 都在搬什么
expert 的
权重
按 id 成块切给各张卡且从不移动,
token
则要跑到自己被路由到的那张卡上算完再回来 —— all-to-all 就是这趟往返。
▶ 播放
←
→
↺
速度
EP
experts E
每卡 tokens
top-k
视角
重新路由
全屏
默认
EP=2, E=4, S=6, k=2
,GPU0 的 6 个 token 就是
the quick brown fox jumped over
那个例子。点泳道可切换视角,键盘
←
→
单步,
空格
播放/暂停。
当前阶段
张量形状
对应代码 · moe_ep