近日,东南大学生命健康高等研究院执行院长、东南大学附属中大医院耳鼻咽喉头颈外科柴人杰教授团队联合多家单位在 Nature Communications 上在线发表题为 「Molecular insights into the activation ...
在2025年ICLR大会上,英伟达和伯克利等优秀研究团队联合提出了一种颠覆性的FP8训练范式COAT(Compressing Optimizer states and Activation for Memory-Efficient FP8 ...
COAT 的核心价值在于使用 FP8 进行训练的同时做到了 显存优化 。动态范围扩展减少量化误差,混合粒度量化优化激活存储,两者协同作用使得端到端内存占用降低 1.54 倍。这种优化不仅适用于单机训练,更在分布式训练中发挥关键作用 —— ...