AI大模型DeepSeek日前在知乎贴文《DeepSeek-V3 / R1 推理系统概览》，DeepSeek称，在最近的 24 小时里（北京时间 2025/02/27 12:00 至 2025/02/28 12:00），DeepSeek V3 和 ...

由于 DeepSeek-V3 / R1 的专家数量众多，并且每层 256 个专家中仅激活其中 8 个。模型的高度稀疏性决定了 DeepSeek 必须采用很大的 overall batch size，才能给每个专家提供足够的 expert batch size，从而实现更大的吞吐、更低的延时。需要大规模跨节点专家并行（Expert Parallelism / EP）。

3月11日，硅基流动宣布，即刻起，硅基流动Silicon Cloud平台的DeepSeek-R1 & V3API支持批量推理（Batch Inference）。用户通过批量API发送请求到Silicon Cloud，不受实时推理速率限制的影响，预期可在24小时内完成任务。相比实时推理，DeepSeek-V3批量推理价格直降50%，其中，3月11日至3月18日，DeepSeek-R1批量推理优惠价.

DeepSeek-V3 / R1 推理系统的优化目标是：更大的吞吐，更低的延迟。 为了实现这两个目标，我们的方案是使用大规模跨节点专家并行（Expert Parallelism / EP）。首先 EP 使得 batch size 大大增加，从而提高 GPU 矩阵乘法的效率，提高吞吐。其次 EP 使得专家分散在不同的 GPU 上，每个 GPU ...