腾讯网1 天
何恺明LeCun改造Transformer！9行代码替代归一化性能不减还加速
DyT适用于注意力块、FFN块和最终归一化层，尽管它可能看起来像是激活函数，但在这篇研究中不会改变原始架构中激活函数的任何部分，网络的其他部分也保持不变。