Transformer 注意力机制

为什么需要注意力？

考虑这句话：

"小明把苹果给了小红，因为她很饿"

"她"指的是谁？你能毫不犹豫地回答"小红"——因为你的大脑自动完成了一次注意力聚焦：看到"她"时，你的认知系统飞速扫描了上下文，锁定了最相关的词。

但对于传统的逐词处理模型来说，这并不简单。RNN 按顺序读句子，等读到"她"时，"小红"的信息可能已经衰减了。注意力机制的革命性在于：它让模型可以直接"看到"整个句子的每一个词，不受距离限制。

Q/K/V 三兄弟

注意力的核心是三个向量：Query（查询）、Key（键）和Value（值）。每个词都会生成这三个向量，它们各司其职。

想象你走进一座图书馆：

• Q（Query）— 你脑中的问题："我想找关于北京美食的书"
• K（Key）— 每本书封面上的标签：地理、美食、历史……
• V（Value）— 书里真正的内容

你用 Q 去匹配每本书的 K，找到最相关的，然后取出对应的 V 来阅读。就是这么简单！

注意力分数是如何计算的？

有了 Q、K、V，注意力分数的计算遵循一个优雅的公式：

分三步理解：

1. Q · K^T — 计算每对词之间的"相关度"（点积越大，越相关）
2. ÷ √d_k — 缩放因子，防止数值过大导致 softmax 梯度消失
3. softmax — 归一化为概率分布（所有权重加起来为 1）

最后用这些权重对 V 做加权求和，得到融合了上下文信息的新表示。

多头注意力：多角度理解

只用一组 Q/K/V 可能不够——就像只从一个角度看问题。Transformer 使用多个注意力头（Multi-Head Attention），每个头学习关注不同的模式：

• 语法头：关注主语-谓语、动宾搭配等语法关系
• 语义头：关注语义相关性（如"北京"和"烤鸭"）
• 位置头：关注邻近词的局部关系

Self-Attention 全景

现在让我们把所有部分拼起来，看看一个完整的 Transformer 层是如何工作的。这是一个精妙的"理解循环"——先看上下文（注意力），再深度思考（前馈网络），不断加深理解。

每一层都在上一层的输出基础上继续深化理解。GPT-3 有 96 层，也就是要经过 96 次这样的"理解循环"，难怪它能理解如此复杂的语言！

总结