从生成性AI到科研模型，长序列训练正在变得非常重要。 在生成性AI领域，会话式AI、长文档摘要和视频生成等任务都需要在空间和时间层面对长上下文进行推理。 例如，多模态基础模型，如同时处理语音、图像和波形的模型，需要对具有极长序列的高维输入 ...