Kimi Linear - 月之暗面开源的新型混合线性注意力架构
Kimi Linear 是月之暗面开源的新型混合线性注意力架构，以 Kimi Delta Attention（KDA）为核心，通过更细粒度的门控机制优化了传统注意力模型，显著提升了硬件效率和内存控制能力。架构采用 3:1 的混合层级结构，即每三个 KDA 线性注意力层后插入一个全注意力层（MLA），既保证了高效的局部信息处理，又能周期性地捕捉全局依赖关系。结合专家混合（MoE）技术，Kimi Linear 在 480 亿参数规模下，每个前向传播仅激活 30 亿参数，大幅提升了计算效率。