机器之心授权发布作者:王子涵我们都知道,DeepSeek-R1 的训练过程使用了一种名为专家混合模型(Mixture-of-Experts, MoE)的技术,而当前的 MoE ...
名叫 CoE(Chain-of-Experts) ,被认为是一种“免费午餐”优化方法,突破了MoE并行独立处理token、整体参数数量较大需要大量内存资源的局限。 研究团队在实验中发现,经过2次迭代的CoE,在相同的计算预算下将数学任务的验证损失从1 ...
在AI浪潮席卷之际,阿里巴巴达摩院的资深技术专家李春强近日在采访中表示,DeepSeek模型的崛起正为RISC-V架构带来前所未有的发展机遇。李春强指出,基于MOE技术,DeepSeek有效降低了激活参数比例,使得在保持相同效果的基础上,所需的计算能力大幅度减少。这一进步无疑为芯片设计领域设定了一个新的平衡点。
格隆汇3月4日|据21财经,阿里巴巴达摩院资深技术专家李春强在采访时表示,DeepSeek模型的火爆为RISC-V架构带来了新的发展机遇。“DeepSeek通过MOE技术大幅降低了激活参数比,使得模型在同等效果下所需算力显著减少,这一变化为芯片设计提供了新的平衡点。”李春强说道。RISC-V是一款开源且免费的CPU指令集架构。与x86和ARM等传统指令集架构相比,RISC-V不仅完全免费开放,还支 ...
2月27日,DeepSeek宣布开源Optimized Parallelism Strategies。与此同时,英伟达开源了首个在Blackwell架构上优化的DeepSeek-R1,实现了推理速度提升25倍,并且每token成本降低20倍的惊人成果 ...
DeepGEMM通过FP8和硬件级优化解决了大模型计算效率和资源消耗的问题,尤其是对MoE模型的落地提供了关键支持。其开源行为不仅加速了技术民主化,还可能成为AI计算生态的基础设施,推动行业向更高效、低成本的方向发展。FP8作为AI计算的新兴标准,可以加速千亿参数模型的训练,降低显存需求。在边缘设备或云端部署时,FP8的低精度计算能显著提升吞吐量,降低成本。因此,开源DeepGEMM可以推动FP8 ...
2月26日,在开源周第三天,DeepSeek宣布开放高效的FP8 GEMM库DeepGEMM。这三天的发布内容都与算法相关,偏向技术层面。大模型生态社区OpenCSG创始人陈冉举例说,以前DeepSeek直接提供一个产品并说明其性能,现在则深入探讨实现高性能的具体方法和框架。这些“脚手架”的开源有助于后续生态建设。 此次发布的关键词是GEMM(通用矩阵乘法),这是一种线性代数中的基本运算。FP8 ...
昨天是DeepSeek“开源周”第二日,DeepSeek宣布开源DeepEP,第一个用于MoE模型训练和推理的开源EP通信库。在宣布后的约20分钟内,DeepEP已在GitHub、微软等平台上获得超过1000个收藏。