在人工智能领域，混合专家架构（MoE）与Transformer架构的融合正在成为推动大模型发展的新趋势。文章深入剖析了MoE架构的核心理念、优势以及与Transformer架构的融合方式，探讨了这种融合如何提升模型的计算效率、扩展性和适应性，供大家参 ...

DeepEP的横空出世，为AI领域的MoE模型优化带来了革命性的变化。作为专为MoE架构定制的通信解决方案，DeepEP提供了高吞吐量和低延迟的全对全GPU内核，业内称之为MoE调度与合并。这些内核的设计旨在充分利用现代硬件的优势，大幅提升MoE模型 ...

上周五，DeepSeek 发推说本周将是开源周（OpenSourceWeek），并将连续开源五个软件库。 昨天，他们开源了第一个代码库 —— FlashMLA。这是一款用于 Hopper GPU 的高效型 MLA 解码核，仅用了 24 ...

在人工智能技术迅猛发展的今天，深度学习模型的训练和推理效率成为技术研发的关键。近日，DeepSeek公司在其开源周活动中推出了一个名为DeepEP的新通信库，该库专为混合专家（MoE）模型和专家并行（EP）通信设计，迅速吸引了广泛关注。DeepEP的 ...

DeepSeek之前发布的V3模型就是采用了MoE混合专家模型架构。可以理解为，多个专家共同完成庞大的任务，有人擅长数学、有人擅长物理。在用户下达每个任务的时候，大模型会选取需要激活的专家，而不需要调动全部专家团队。

DeepEP 是一个专为混合专家系统（MoE）和专家并行（EP）定制的通信库。它提供高吞吐量和低延迟的 all-to-all GPU 内核， 这些内核也被称为 MoE 分发和合并。该库还支持低精度操作，包括 FP8。

2月25日，DeepSeek开源周第二日正式揭晓了重磅开源项目——DeepEP通信库。这是全球首个专注于MoE（混合专家）模型训练与推理的开源通信库，标志着AI领域在分布式训练和高效模型部署方面迈出了重要一步。

格隆汇2月28日丨深圳燃气(601139.SH)在投资者互动平台表示，深圳燃气积极探索人工智能的融合应用，本地化部署DeepSeek-R1满血版、MoE视觉语言模型VL2等多个大模型，赋能企业生产作业、客户服务以及知识共享，推动公司智慧化发展。在生产 ...

据了解，DeepEP是 首个 用于 MoE 模型训练和推理的开源 EP 通信库， 它填补了MoE模型专用通信工具的空白， 为大规模分布式AI训练和实时推理场景提供了更高效的底层支持。

DeepSeek在近期的开源周活动中，正式向公众开源了DeepEP，这是首个专为混合专家模型（MoE）设计的高效专家并行通信库。DeepEP的推出标志着AI模型训练和推理领域的一次重要突破，为MoE模型的广泛应用提供了强有力的技术支持。