今天，MoBA 的一位主要研发同学 Andrew Lu 在知乎发帖，自述研发过程的三次踩坑，他称为 “三入思过崖”。他在知乎的签名是“新晋 LLM 训练师”。 注意力机制之所以重要，是因为它是当前大语言模型（LLM）的核心机制。回到 2017 年 6 ...

DeepSeek在论文中介绍，NSA采用动态分层稀疏策略，将粗粒度标记压缩与细粒度标记选择相结合，以保持全局上下文感知和局部精度。通过两项关键创新推进稀疏注意力设计：第一，通过算术强度平衡算法设计实现了显着的加速，并针对现代硬件进行了实现优化。第二， ...

昨天下午，DeepSeek 发布了一篇新论文，提出了一种改进版的注意力机制 NSA；加上还有创始人兼 CEO 梁文锋亲自参与，一时之间吸引眼球无数。 但其实就在同一天，月之暗面也发布了一篇主题类似的论文，并且同样巧合的是，月之暗面创始人兼 CEO ...

Kimi联合清华和浙大推出的稀疏注意力技术MoBA，在长文本处理任务中可以保持相近性能的同时，将注意力计算的时间和内存消耗显著降低。特别是在处理超长文本（如1000万token）时，MoBA的优势更加明显，可以实现16倍以上的加速。

新一代大模型架构RWKV将于2025年2月22日在上海举办首届主题为《RWKV-7架构与未来趋势》的开发者大会，大会将深入探讨RWKV-7的独家技术亮点、应用场景以及未来趋势，展示RWKV在推动全球AI发展中的前瞻性与领导力。

宇宙第二牛的AI公司Anthropic在年前发表了一篇特别出色的文章，名为《Building effective agents》（构建有效的Agent），在这个文章中，Anthropic都承认目前对于Agent的定义没有定论。

Andrej Karpathy 发布了全新的视频力作，带你进行一场针对大众的深度探索，揭秘驱动 ChatGPT 及相关产品的 大型语言模型 (LLM) AI 技术。这部时长超过三小时的视频，全面覆盖了 LLM 的 ...

要使 AI 达到人类智能水平，它们也需要具备处理如此大量信息的能力。 OpenAI 在两年前推出 ChatGPT 时，其能够处理的上下文信息仅有 8,192 个 tokens 1 。换言之，如果输入的文本超过大约 15 页，它就会“遗忘”最初的上下文内容。这一限制使得 ChatGPT 在处理任务时 ...

这个测试就比较有意思了，小艺接入的 DeepSeek-R1 Beta 得出来的结论是 12 分钟，这个答案与 ChatGPT 的结论相同，而 DeepSeek 官方 app 则得出了一个用时更短的答案，同时在思维逻辑上也给出了充足的辩论脉络。

Install-Package Microsoft.VisualStudio.Web.CodeGeneration.Design：该包用于在项目中生成数据库上下文和实体类的代码，方便开发者快速搭建数据访问层的基础结构。

长上下文任务 在上下文长度为 100 万 Tokens 的大海捞针（Passkey Retrieval）任务中，Qwen2.5-1M 系列模型能够准确地从 1M 长度的文档中检索出隐藏信息 ...