专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！Transformer架构的出现极大推动了生成式AI的发展，在此基础之上开发出了Ch ...

改进注意力机制：最直接的方法就是改进Transformer架构中的自注意力机制。通过调整注意力权重的分配，可以增强模型对序列中早期token的关注。这可以通过修改注意力分数的计算方式来实现，例如，通过增加对早期token的权重，或者重新设计一种机制， ...

4 月 14 日，谷歌首席科学家 Jeff Dean 在苏黎世联邦理工学院举办的信息学研讨会上发表了一场演讲，主题为「AI 的重要趋势：我们是如何走到今天的，我们现在能做什么，以及我们如何塑造 AI 的未来？」 ...

来自Meta AI的华人科学家刘壮团队，联合AI大神何恺明， 图灵奖得主Yann LeCun等大牛搞了个大新闻——他们的最新论文证明了：Transformer 模型，竟然 ...

在人工智能的广阔天地里，每当有新技术横空出世，总会引发一场技术革新的风暴。而今天，我们要讲述的就是这样一场正在发生的革命——Mamba与Transformer的黄金组合，它不仅带来了推理性能的惊人飞跃，更是为整个AI界开启了一扇通往无限可能的大门。

AI圈冷处理，律师圈热讨论：Transformer专利会卡大模型厂商脖子吗？,专利,大模型,谷歌,国家知识产权局,transformer,算法 ...

Transformer 想必大家已经非常熟悉了 ... 由于目前 Mamba 的硬件优化不足，这种理论上的改进可能无法完全实现。 尽管如此，他们仍然观察到，在长 ...

改进方向二：引入变量间注意力 Transformer通过多头注意力捕捉输入序列中不同位置间的依赖关系；iTransformer创新性地将时间序列维度反转，通过自 ...

SimpleAR团队 投稿量子位 | 公众号 QbitAI 基于Transformer的自回归架构在语言建模上取得了显著成功，但在图像生成领域，扩散模型凭借强大的生成质量和可控性占据了主导地位。

MiniMax钟怡然： 最早是在2021年7月份开始研究线性attention。这其实源于我2020年博士毕业时做的一篇论文 《invertible attention》 ，当时可逆神经网络和attention机制都比较火，我们就把两者结合起来研究。

2、Transformer 架构的局限性 尽管 Transformer ... 推动其在大模型领域的广泛应用。 训练稳定性改进：研究人员提出了一系列改进算法，如引入辅助损失 ...