Attention isn’t all you need!Mamba:三倍Transformer吞吐量
机器之心报道 编辑:小舟 Mamba 时代来了? 自 2017 年开创性研究论文《Attention is All You Need》问世以来,transformer 架构就一直主导着生成式人工智能领域。 然而,transformer 架构实际上有两个显著缺点: 内存占用大:Transformer