演讲主题

线性注意力：过去、现在与未来

标准自注意力的二次方复杂度已成为长上下文 AI 智能体和端侧模型部署的根本瓶颈。将注意力计算复杂从 O(n²) 降低到 O(n) 的线性注意力机制，已成为高效序列建模领域最重大的算法突破之一。 本演讲将呈现线性注意力演进的完整技术历程。我们将从理论基础出发（Performer、Linear Transformer、RNN 重构形式），分析当前已获主流采用的最先进架构（Mamba、RetNet、GLA 及 硬件感知设计），并展望塑造2026 年的关键研究前沿：面向智能体工作流的混合注意力策略、面向端侧部署的软硬件协同设计，以及线性注意力与状态空间模型的融合趋势。 结合在 Kimi 大规模基础模型训练中的生产实践经验，本讲座将算法创新与基础设施现实相结合。我们将审视内存效率、训练稳定性与下游任务性能之间的真实权衡——这些是论文结果常常忽视的关键考量。 大纲： I. 二次方危机（5 分钟） II. 过去：理论基础（8 分钟） III. 现在：现代图景（12 分钟） IV. 未来：迈向智能体 AI（10 分钟） V. 开源与社区（3 分钟） VI. 问答环节（5 分钟） 听众收益：听众将系统掌握线性注意力机制从数学原理（核方法、RNN 对偶性与状态空间形式化）到工程落地的全栈认知，深入理解 Performer、Mamba、RetNet 等主流架构在训练稳定性、内存效率与硬件利用率之间的真实权衡，获得在端侧部署与长上下文智能体场景下选择最优注意力策略的实战决策框架，并洞悉 2026 年最前沿的混合架构设计、自适应稀疏性与软硬件协同优化趋势，最终具备将理论突破转化为生产级高效模型基础设施的端到端能力。