AI大模型DeepSeek日前在知乎贴文《DeepSeek-V3 / R1 推理系统概览》，DeepSeek称，在最近的 24 小时里（北京时间 2025/02/27 12:00 至 2025/02/28 12:00），DeepSeek V3 和 ...

DeepSeek此次披露的数据不仅验证了其技术路线的商业可行性，更为行业树立了高效盈利的标杆。有分析指出，DeepSeek的开源策略与成本控制能力正在打破AI领域的资源垄断。其模型训练成本仅为同类产品的1%-5%，而推理定价则具有明显优势。这一低成本 ...

由于 DeepSeek-V3 / R1 的专家数量众多，并且每层 256 个专家中仅激活其中 8 个。模型的高度稀疏性决定了 DeepSeek 必须采用很大的 overall batch size，才能给每个专家提供足够的 expert batch size，从而实现更大的吞吐、更低的延时。需要大规模跨节点专家并行（Expert Parallelism / EP）。

DeepSeek-V3 / R1 推理系统的优化目标是：更大的吞吐，更低的延迟。 为了实现这两个目标，我们的方案是使用大规模跨节点专家并行（Expert Parallelism / EP）。首先 EP 使得 batch size 大大增加，从而提高 GPU 矩阵乘法的效率，提高吞吐。其次 EP 使得专家分散在不同的 GPU 上，每个 GPU ...