图一：在 400M 的 Dense LLM 上训练 40B Token（左）和在 1B 的 Dense LLM 上训练 100B Token（右）的超参 - 损失等高线图，并且对业内不同方法进行比较，所有方法都转换成了预测 Optimal Token ...

随着大模型技术从技术变革转向产业变革，大模型应用也会进一步繁荣，传统基础设施技术已经不足以满足大模型应用的快速发展。整个基础设施技术和产业链正在快速转型，向大模型基础设施技术演变。2025 QCon 全球软件开发大会（北京站） 策划了「面向 AI ...

作者 | PPIO 派欧云推理加速团队DeepSeek MoE 架构采用跨节点专家并行（EP）架构，当 DeepSeek MoE 以 EP320 架构在解码阶段实现惊人的批处理规模时，整个 AI ...

1. 英伟达推出DriveOS LLM SDK，旨在推动自动驾驶行业迈向新阶段，提供语言智能支持。

2月27日，英伟达发布FY25Q4财报（对应24年11月至25年1月），其中第四财季营收达393亿美元，同比增长78%，为历史新高；净利润为221亿美元，同比增长80%，环比增长14%。全财年营收1305亿美元，同比增长114%，净利润729亿美元，同比增长145%。其中，第四财季数据中心业务达到356亿美元，同比增长93%，环比增长16%。英伟达表示，市场对Blackwell的需求非常强劲，第四 ...

在过去几天中，国内AI领域可谓风起云涌，真正让人感到目不暇接。智谱科技近日宣布开源其最新的AI绘图模型CogView4，激励影响着整个开源社区。这一重磅消息的背后，既是智谱在成功获得10亿人民币融资后迈向开源的又一里程碑，也是程序员与艺术家们探索AI绘图无穷潜力的明确信号。

Through a more careful evaluation, we find the XCube-VAE generates latent vectors of average 64,821 dimension in our training data. Our VAE model allows a batchsize of 128 on an A100 GPU, while the ...

This repository contains an implementation of the paper "MaskBit: Embedding-free Image Generation via Bit Tokens" accepted to TMLR with featured and reproducibility certifications. We present a ...