近年来，大模型领域呈现百花齐放的态势，自OpenAI推出GPT-3以来，国内外众多企业纷纷投身其中，掀起了一场“百模大战”。xAI、谷歌、微软、百度、科大讯飞、智源、阿里巴巴、字节跳动等企业竞相发布各自的大模型，同时，DeepSeek也作为一股新兴力 ...

图一：在 400M 的 Dense LLM 上训练 40B Token（左）和在 1B 的 Dense LLM 上训练 100B Token（右）的超参 - 损失等高线图，并且对业内不同方法进行比较，所有方法都转换成了预测 Optimal Token ...