21ic16 天
浪潮信息元脑R1服务器支持开源框架SGLang，单机DeepSeek 671B并发过千
单路并发性能测试日志，根据TPOT换算用户解码性能为33.3 tokens/s DeepSeek R1 671B是一个稀疏度较高的MoE架构模型，具有模型参数量大、计算量小的特点。和Dense模型相比，在满足KV cache的显存占用的前提下，可以支持更高的并发访问需求。实测数据表明，基于单台 ...
来自MSN22 天
交流纪要，DeepSeek、昆仑芯内部进展｜产业家独家
问：伴随着DeepSeek的出现，外界对咱们百度也有一些讨论。想聊下目前百度智能云在部署适配方面有哪些最新动作？效果如何？ 答：首先DeepSeek的爆火给AI行业注入了一股全新的活力，其实相较于外界的讨论，我们更首要关注的是如何让企业快速使用上优质模型去 ...
新浪网29 天
接入DeepSeek，百度掀起AI大模型低价风暴
整整一个春节过后，DeepSeek的热度依然居高不下。为了加速行业大模型的落地，DeepSeek系列模型已在国内外多家主流云平台完成上架部署。 与此同时 ...
51CTO29 天
在火山引擎用DeepSeek，更稳更快：500万TPM、30ms低延迟
推理速度更快：30msTPOT超低延迟 TPOT代表的是吐字间隔，为了让DeepSeek更快、更准确地与用户交互，火山引擎不断完善推理层性能优化，将其降低到接近30ms，并将持续优化，未来将TPOT进一步压低至稳定15ms～30ms区间，成为国内最低延迟的大规模DeepSeek-R1推理服务 ...