Expert Parallelism:两次 all-to-all 都在搬什么

expert 的权重按 id 成块切给各张卡且从不移动,token 则要跑到自己被路由到的那张卡上算完再回来 —— all-to-all 就是这趟往返。

默认 EP=2, E=4, S=6, k=2,GPU0 的 6 个 token 就是 the quick brown fox jumped over 那个例子。点泳道可切换视角,键盘 单步,空格 播放/暂停。

当前阶段

张量形状

对应代码 · moe_ep