Pipeline Parallel: 从 DualPipe 开始说起
Author Houmin Wei
Publish January 1, 0001
LastMod August 27, 2026
License 本作品采用 CC BY-NC-ND 4.0 许可协议进行许可，转载时请注明原文链接
如果你在浏览博客的过程中发现了任何问题，欢迎在对应文章下评论。如果你有其他事情想要咨询，可以通过邮件联系我。
Linked Mentions
- DeepSeek-V2：强大、经济、高效的 MoE 语言模型
- DeepSeek-V3 技术报告全文
- ERNIE 5.0：从零训练的统一全模态自回归模型
- GLM-5：从 vibe coding 到 agentic engineering
- Kimi K2.5：视觉 agentic 智能
- LongCat-Next：把模态词汇化成离散 token
- MegaScale-MoE：生产环境中大规模、通信高效的 MoE 训练
- Seed1.5-VL：532M 视觉编码器加 20B 激活的多模态基座
- Infra
- Global Batch Size
- TorchTitan 论文解读：面向 LLM 预训练 的 PyTorch 原生方案
- Weak Scaling / Strong Scaling