DeepSeek在论文中介绍，NSA采用动态分层稀疏策略，将粗粒度标记压缩与细粒度标记选择相结合，以保持全局上下文感知和局部精度。通过两项关键创新推进稀疏注意力设计：第一，通过算术强度平衡算法设计实现了显着的加速，并针对现代硬件进行了实现优化。第二， ...

上下文置信度校准（In-Context Confidence Calibration）：模型在Reduce阶段，会参考Confidence的值来汇总不同阶段的信息，高Confidence的结果占据更多的主导权。

据了解，Titans具有三种设计变体：Memory as a Context（MAC）、Memory as ... 其中，“MAC”架构变体将长期记忆作为上下文的一部分，允许注意力机制动态 ...

分别是Memory as a Context（MAC）、Memory as a Gate（MAG）和Memory as a Layer（MAL），针对不同的任务需求来集成短期与长期记忆。MAC将长期记忆作为上下文的一 ...