内部代号为“Orion”的 GPT 4.5 在自然度和减少“幻觉”方面取得了重大进展，其参数量可能超过 3 到 4 万亿。据推测，GPT 4.5 的训练使用了 3 万到 5 万块 NVIDIA H100 GPU，训练成本约 7.5 亿到 15 亿美元 ...

混合精度训练通过结合16位 ( FP16 )和32位 ( FP32)浮点格式来保持计算准确性。使用16位精度计算梯度可显著加快计算速度并减少内存消耗，同时维持与32位分辨率相当的结果质量。这种方法在计算资源受限的环境中尤为有效。