AI资讯新闻榜单内容搜索-线性注意力

关键词: Infini-Transformer,上下文,谷歌AI,谷歌大模型, Transformer,模型训练

它通过将压缩记忆（compressive memory）整合到线性注意力机制中，用来处理无限长上下文

关键词: Lightning Attention-2,注意力机制,OpenNLPLab

Lightning Attention-2 是一种新型的线性注意力机制，让长序列的训练和推理成本与 1K 序列长度的一致。

关键词: Agent Attention,Softmax

来自清华大学的研究者提出了一种新的注意力范式——代理注意力 (Agent Attention)。