🔍 Attention Mechanism · Attention Is All You Need · Transformer

什么是 Transformer 的注意力机制（Attention）？

现代 ChatGPT、Claude 与所有大模型的灵魂中枢！看懂每个词如何通过 Q、K、V 互相“看上一眼”、为什么它能打破长文本遗忘魔咒，以及怎样把一句话里的隐形关联算得一清二楚！

旧时代: RNN / LSTM 传话筒模式

🐢📦 排队传话·走得远了全忘光

旧的循环神经网络（RNN）就像排成一长队的传话游戏：必须前一个词算完才能算下一个词，无法在 GPU 上并行狂飙；更要命的是，句子只要长过几十个词，开头的信息被一层层压缩稀释，后面的人完全忘了开头说了啥（梯度消失与长期遗忘）。

❌ 必须串行计算 (无法吃满 GPU 算力) ❌ 距离太远必然遗忘 (固定隐藏状态瓶颈) ❌ 无法建立双向全局关联

Transformer: 全局全员互看注意力

👥⚡ 班级茶话会·全员瞬间目光交汇

2017 年《Attention Is All You Need》论文掀起的 AI 革命！ 句子里的每个词同时站在大厅中央，彼此通过 Query（查询）、Key（键值标签）、Value（内容） 进行点积打分。无论相隔 1 个字还是 10 万个字，只需要 1 次矩阵相乘就能瞬间建立注意力连接，支持全并行计算！

✅ 全并行矩阵运算 (算力飞跃) ✅ $O(1)$ 距离连接任意跨度的词 ⭐ 动态自适应权重: 谁重要看谁

5岁核心顿悟：如果把一句话比作一场图书馆查书，注意力在干嘛？

• 句子里的每个词，都带着 3 张神奇卡片 📇✨：
• Q (Query · 查询纸条)：‘我正在找什么？’（比如代词‘它’正在四处打听：‘我在找一个动物或者物体！’）；
• K (Key · 封面标签)：‘我是谁，我身上有什么特征？’（前面的词‘小狗’贴着标签：‘动物、宠物、毛茸茸’；而‘骨头’贴着标签：‘食物、物体’）；
• V (Value · 肚里的真材实料)：‘我肚子里包含的全部详细知识’；
• Q 与 K 轻轻碰一下（点积打分）：‘它’的查询纸条与‘小狗’的标签高度契合，得分高达 95 分！而与‘今天’只得 2 分；经过 Softmax 换算成百分比，‘它’就把 95% 的注意力投给‘小狗’，把小狗的 V 融入自己的理解中——大模型由此秒懂了‘它’指的就是‘小狗’！

揭秘核心三剑客：Q、K、V 的精密分工

从一维词向量通过可学习矩阵投射出的三重视角

🔎

1. Query (Q · 寻人启事)

代表当前 Token 主动发出的“需求向量”。比如动词想要找它的主语是谁，疑问词想要找它修饰的对象在哪里。

🏷️

2. Key (K · 身份门牌)

代表每一个 Token 被动暴露给外界的“特征门牌号”。用来和别处的 Q 做匹配，二者越相关，内积打分就越高。

💎

3. Value (V · 核心内容)

代表 Token 实际承载的语义信息。最终的输出，就是根据打分权重对全句所有 Token 的 V 进行加权求和打包带走。

📐 改变人类历史的数学公式：缩放点积注意力 (Scaled Dot-Product Attention)

仅用这一行优雅的线性代数公式，统治了万亿大模型时代：

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

步骤 1: $QK^T$

全员相乘算分：所有词的 Q 和 K 做点积，算出一张 $N \times N$ 的相关度评分大方阵。

步骤 2: $\div \sqrt{d_k}$

除以根号缩放：防止向量维度太大导致内积数值爆炸、Softmax 梯度消失。

步骤 3: $\text{softmax}(\cdot)$

归一化为概率：把得分变成每一行加起来等于 100% 的注意力权重分配表。

步骤 4: $\times V$

加权混合打包：按百分比从所有词的 V 里提取养分，融合成当前词的新语义！

🎮 交互模拟器：推演注意力机制在不同经典语境中的视线焦点

点击查看不同句子中，特定词汇把注意力百分比分给了谁：