在人工智能领域，模型训练的效率和资源利用率一直是研发者关注的焦点。最近，来自加州大学伯克利分校、英伟达、麻省理工学院及清华大学的研究团队联合推出了一项名为COAT（Compressing Optimizer States and Activation for Memory-Efficient FP8 Training）的新技术，标志着FP8训练范式的重大突破。这一创新方法不仅将显存使用减少了40% ...

近日，英伟达与伯克利、MIT、清华等顶尖研究团队联合推出的COAT（Compressing Optimizer States and Activation for Memory-Efficient FP8 Training）技术在AI领域引发广泛关注。这项基于FP8量化的新方法，通过动态范围扩展和混合粒度量化策略，成功将显存占用降低了40%，同时训练速度提升了1.43倍，为大模型训练带来了革命性突 ...

COAT 的核心价值在于使用 FP8 进行训练的同时做到了 显存优化 。动态范围扩展减少量化误差，混合粒度量化优化激活存储，两者协同作用使得端到端内存占用降低 1.54 倍。这种优化不仅适用于单机训练，更在分布式训练中发挥关键作用 —— ...