DeepSeek在论文中介绍，NSA采用动态分层稀疏策略，将粗粒度标记压缩与细粒度标记选择相结合，以保持全局上下文感知和局部精度。通过两项关键创新推进稀疏注意力设计：第一，通过算术强度平衡算法设计实现了显着的加速，并针对现代硬件进行了实现优化。第二， ...

近日，谷歌在博客中介绍了「智能体链」（Chain-of-Agents，CoA）框架，无需训练、任务无关且高度可解释。它通过大语言模型（LLM）间的协作来解决长上下文任务，在性能上超越了RAG和长上下文 LLM。

上下文置信度校准（In-Context Confidence Calibration）：模型在Reduce阶段，会参考Confidence的值来汇总不同阶段的信息，高Confidence的结果占据更多的主导权。

据了解，Titans具有三种设计变体：Memory as a Context（MAC）、Memory as ... 其中，“MAC”架构变体将长期记忆作为上下文的一部分，允许注意力机制动态 ...

谷歌推出新型 AI 模型架构：Titans 打破上下文限制 ... 但输出内容效果不如“Memory as a Context”（MAC）和“Memory as a Gate”（MAG）变体。