已学完
💡 一句话解释： 不再把纸条从排头传到排尾！全班同学同时抬头对视，一眼看清谁跟谁关系最铁，距离直接变成 1 步！
# 传统 RNN 串行依赖 O(n) ➔ 自注意力全局两两成对打分，最大路径长度压缩为常数 O(1)！
烦恼：字排长队传话，传到最后全变样
传话游戏漏大半，串行排队等到烦
办法：全员同时抬头，目光瞬间聚焦
全班对视一瞬间，千里因果一线牵
解决了什么：消除循环时序依赖，使得长程信息传递步长从 $O(n)$ 降为 $O(1)$，并释放 GPU 极致矩阵并行力。
代价是什么：两两匹配计算复杂度激增至序列长度的二次方 $O(n^2)$。
已学完
💡 一句话解释： 你拿着“我想借科幻书”的读者借书条（$Q$），在图书馆书脊目录（$K$）上一本本扫过去做内积评分，分越高的书，翻开书本抱走的内容（$V$）越多！
# 线性投影：Q = X·W_Q, K = X·W_K, V = X·W_V ➔ 相关性分数 Score = Q · K^T
烦恼：词向量直愣愣死磕，分不清谁查谁
没有分工混一团，查谁给谁分不清
办法：分工三剑客，查什么与给什么解耦
Q查K牌找对人，加权V值搬进门
解决了什么：通过可学习的参数矩阵将输入映射为主动查询、被动索引与语义值三种角色。
代价是什么：增加了三个投影权重矩阵 $W_Q, W_K, W_V$ 的参数量与内存暂存。
已学完
💡 一句话解释： 当向量维度很大时（比如 64 维），点积相乘累加的结果会特别大，进 Softmax 就会像吃饱了撑死（梯度全变成 0）！除以 $\sqrt{d_k}$ 就像吹吹凉风，让方差稳稳保持在 1！
# 核心公式：Attention(Q, K, V) = softmax( (Q·K^T) / √d_k ) · V
烦恼：数值飙到几百，Softmax 梯度当场猝死
分数过大冲破顶，求导为零死气沉
办法：除以根号维数，平心静气温和归一
除以根号退高烧，反向求导活水流
解决了什么：抵消随向量维度增长导致的内积方差膨胀，避免 Softmax 进入极小梯度饱和区。
代价是什么：计算图中增加了一道广播除法运算。
已学完
💡 一句话解释： 一个人看句子只注意语法，另一个人只注意指代，第三个人看情感！Transformer 安排 8 组小分队（8 个 Head）各看各的维度，最后把结果拼起来一次看透！
# MultiHead(Q,K,V) = Concat(head_1, ..., head_h) · W_O ➔ 8 个子空间并行捕获语法、语义与句法依赖
烦恼：单眼看世界，顾了语法漏了语义
一只眼睛看世界，盲区遍布难周全
办法：分身八路神探，各盯一个专业方向
八路眼线齐并进，拼成全景大地图
解决了什么：允许模型在不同位置、不同表示子空间同时关注来自不同方面的信息。
代价是什么：在总维度不变下切分为多组低维矩阵，增加了切分、转置与拼接开销。
已学完
💡 一句话解释： “狗咬人”和“人咬狗”用自注意力算出来是一模一样的！因为完全并行没有时间先后！给每个词身上烙上正弦/余弦波浪刻度尺，谁先谁后立刻一清二楚！
# PE(pos, 2i) = sin(pos/10000^(2i/d_model)), PE(pos, 2i+1) = cos(...) ➔ 绝对与相对位置双重显现
烦恼：词袋大乱炖，“人咬狗”与“狗咬人”分不清
字序打乱意全错，颠三倒四真头疼
办法：印上正余弦波浪印章，前后次序一目了然
波浪印章烙在身，排头排尾不混淆
解决了什么：在保留完全并行特性的同时，赋予模型识别文字先后顺序与相对距离的能力。
代价是什么：原始绝对正弦编码在超长文本外推时性能会退化（现代演进为 RoPE 等）。
已学完
💡 一句话解释： 盖 6 层的楼容易地基沉降！残差连接（Add）就像楼层外面的直通电梯，原始信息可以直接抄近道；层归一化（Norm）把每层的输出整容修齐，梯子再高也不歪！
# 经典积木：LayerNorm(x + Sublayer(x)) ➔ 解决深层网络退化，让梯度轻松逆流至第一层
烦恼：深层变换磨损严重，原始语义丢失殆尽
层层扭曲失真重，深楼欲倒站不稳
办法：修一条外挂便道，原汁原味直达楼顶
直通通道留真身，百层大厦固若汤
解决了什么：消灭了极深神经网络的退化问题，使网络具有恒等映射能力与稳定梯度流。
代价是什么：每层必须强制保持固定的隐藏维度（如 $d_{model}=512$）。
已学完
💡 一句话解释： 注意力只是负责把全班的资料收集过来，但每个词自己还要**把资料放进肚子里消化吸收**！FFN 就是那个两层 MLP 的胃，把维度放大 4 倍再压回，完成非线性思考！
# 结构：FFN(x) = max(0, x·W_1 + b_1)·W_2 + b_2 ➔ 先膨胀到 2048 维消化，再收敛回 512 维
烦恼：光收集资料不消化，只有线性混合
抱来资料堆满案，未经咀嚼难下咽
办法：膨胀四倍深加工，深度提炼语义真知
深层加工吞吐畅，化作真知记心房
解决了什么：引入关键的非线性激活与维度膨胀，为模型提供大量的参数容量用于存储世界知识。
代价是什么：占了整个 Transformer 模型大约三分之二的参数量与矩阵乘法浮点开销。
已学完
💡 一句话解释： 在生成下一个词时，绝对不能让它偷看后面的答案！因果掩码在注意力矩阵上画了一面**右上角全填 $-\infty$ 的单向百叶窗**，未来的光一丝都照不进来！
# 掩码机制：对未来位置赋值 -inf，经过 Softmax 后权重精准为 0，只能回顾过去已生成的 Token
烦恼：考试提前偷看考卷，上线当场露馅
答题提前瞄答案，真正实操全完蛋
办法：三角百叶窗挡住未来，老老实实步步推导
单向掩码遮前路，老实预测最扎实
解决了什么：在 Decoder 训练时保持并行训练速度的同时，完美杜绝向未来 Token 泄露信息。
代价是什么：推理阶段（Decode）必须退化为逐字生成的串行自回归循环。
已学完
💡 一句话解释： 中文翻英文，英文怎么看中文原文？解码器拿出自己的英文提问（$Q_{dec}$），转头去问编码器留下的中文档案库（$K_{enc}, V_{enc}$）！精准对齐两个世界的语言！
# 交叉联动：Q 来自 Decoder 上一层，K 和 V 来自 Encoder 的最终输出表示
烦恼：只看译文自言自语，原文说啥早抛脑后
自说自话两相忘，源文意图全丢荒
办法：两端牵红线，随时抬头对照原文
红线紧系源与靶，对照翻译不走偏
解决了什么：打通了输入序列与输出序列的信息桥梁，奠定了现代多模态（看图说话）与序列翻译标准。
代价是什么：在纯因果语言生成模型（Decoder-only，如 GPT）中通常省略该结构以追求极简架构统一。
下一站
💡 一句话解释： 论文当初只是想打赢英法翻译比赛，谁知点燃了整个宇宙！从 GPT-4、Claude 到文生图 Diffusion、代码大模型、具身机器人，全都流淌着同一个 Transformer 血液！
# 现代三大门派：Encoder-only (BERT/理解), Decoder-only (GPT/生成), Encoder-Decoder (T5/全能)
旧时代：CV 用卷积、NLP 用循环、音频各搞一套
各立山头各画圆，技术割裂难融通
办法：一切皆为 Token，自注意力统摄万物
一个架构统全盘，Scaling Law 启新篇
解决了什么：提供了一种完全由矩阵乘法构成的标准算力吞吐架构，完美契合芯片硬件演进与超大规模预训练。
代价是什么：超长上下文显存开销（KV Cache）依然沉重，催生出 FlashAttention 等系统级工程调优。