#线性注意力

2 篇文章

2026年04月07日

Gated DeltaNet 架构流程图graph TD %% 定义样式 classDef storage fill:#f9f,stroke:#333,stroke-width:2px,stroke-dasharray: 5 5; classDef core fill:#ff...

#线性注意力 #Qwen #DeltaNet #LLM架构

2026年04月07日

概述Qwen3.5 在线性注意力层中采用了 Gated DeltaNet 机制，替代传统的 Softmax Attention。该架构实现了推理时 O(1) 的复杂度，同时通过 Delta Rule 保持长期记忆的精确度。架构全景graph TD classDef storage fill...

#LLM #架构 #线性注意力 #Qwen