【编者按】摩尔线程科研团队发布研究成果《Round Attention：以轮次块稀疏性开辟多轮对话优化新范式》，该方法端到端延迟低于现在主流的Flash Attention推理引擎，kv-cache 显存占用节省55%到82% 。

摩尔线程科研团队近期宣布了一项名为“Round Attention”的新技术，这一突破有望提升人工智能对话的流畅性，并在显存占用方面实现高达82%的节省。随着大型语言模型的快速发展，AI在日常生活中的应用已经愈发广泛，然而，长时间的用户互动带来了计算和内存使用的显著挑战。基本上，Round Attention旨在解决这一问题，推动多轮对话的优化。

摩尔线程 科研团队近日发布了一项新的研究成果《Round Attention：以轮次块稀疏性开辟多轮对话优化新范式》，使得端到端延迟低于现在主流的Flash Attention推理引擎，kv-cache 显存 占用节省最多82％。

摩尔线程科研团队近期公布了一项创新研究成果，名为《Round Attention：利用轮次块稀疏性革新多轮对话优化路径》。这一突破性进展使得推理引擎的端到端延迟显著低于当前主流的Flash Attention，同时在键值缓存（kv-cache）显存占用上实现了最高82%的节省。

Chinese Olympic champion Zheng Qinwen beat former world No. 1 Victoria Azarenka of Belarus 6-3, 6-4 to advance to the third ...