第 3 课：Transformer 注意力机制与目标检测评测体系（mAP 全解）

[!info] 知识库导航 [[00_目标检测知识库总览_MOC|🏠 返回知识库总览 (MOC)]] ｜ ⬅️ [[Lesson02_CNN_Backbones|第02讲]] ｜ ➡️ [[Lesson04_ViT_and_Swin|第04讲：ViT 与 Swin]] ｜ 🔗 [[Lesson01_Overview|定位与评估指标]]

学习要点：掌握自注意力机制（Self-Attention）与缩放点积代数推导、边界框回归损失演变全景（Smooth L1 到 Wise-IoU 与 DFL）、P-R 曲线几何积分与 MS COCO 评测体系。

---

0.0 参数与符号对照字典

在 Transformer 机制与目标检测评测体系中，以下参数与符号构成了核心概念基础：

---

0.1 核心机制与评测精要速览

1. 缩放点积多头自注意力（Scaled Dot-Product Multi-Head Attention）

• 机制：输入特征矩阵经投影矩阵生成 $Q, K, V$，计算全序列各元素间亲和度分布：

  $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

• 物理机理：内积度量全局任意两空间位置特征向量的余弦相关度；$\frac{1}{\sqrt{d_k}}$ 阻尼方差，保证反向传播梯度平稳；多头并行映射丰富了特征交互的多样性。

2. 精确率与召回率的动态平衡（PR 曲线几何积分）

• 权衡本质：精确率（衡量预测纯度）与召回率（衡量覆盖广度）通常存在权衡关系。单一置信度截断阈值无法完整反映模型性能。
• 101 点连续插值（COCO 协议）：按置信度排序绘制单调非增的 PR 包络线，在召回率轴 $[0, 1]$ 上均匀取 101 点采样积分，科学度量检测器的全局置信度校准能力。

---

一、 自注意力机制（Self-Attention）物理机理与代数推导

1.1 概念溯源：基于动态内容寻址的自注意力机制

传统卷积网络采用固定静态卷积核权重，无论输入特征内容为何，滑动计算的核参数在推理期保持不变。

自注意力机制引入了动态内容驱动的数据相关连接（Data-dependent Connectivity）：

1. 输入特征投影：输入张量 $X \in \mathbb{R}^{N \times d}$ 通过可学习权重矩阵线性映射生成三个专用子空间：

   $$Q = X W_Q, \quad K = X W_K, \quad V = X W_V \quad (W_Q, W_K, W_V \in \mathbb{R}^{d \times d_k})$$

2. 空间亲和度度量（Affinity Matrix）：

   $$A = Q K^T \in \mathbb{R}^{N \times N}$$

   任意位置 $(i, j)$ 的数值 $A_{ij} = Q_i \cdot K_j^T = \|Q_i\| \|K_j\| \cos\theta_{ij}$，直接度量位置 $i$ 与位置 $j$ 特征矢量的空间共振程度。

3. 数值稳定性缩放与归一化：

   $$\tilde{A} = \text{softmax}\left( \frac{A}{\sqrt{d_k}} \right)$$

   对每一行执行 Softmax 归一化，形成凸组合权重分布（每行求和恒为 1）。

4. 自适应上下文聚合：

   $$\text{Output} = \tilde{A} V \in \mathbb{R}^{N \times d_k}$$

   每个位置的最终输出是由全图所有位置内容向量按亲和度加权求和构成的全局上下文向量。

1.2 缩放因子 $\frac{1}{\sqrt{d_k}}$ 的方差说明

设 $Q$ 与 $K$ 的各分量均为独立同分布的随机变量，满足均值为 0，方差为 1：

$\mathbb{E}[q_i] = \mathbb{E}[k_i] = 0, \quad \text{Var}(q_i) = \text{Var}(k_i) = 1$

点积结果由 $d_k$ 个独立随机变量的乘积求和组成：

$z = \sum_{i=1}^{d_k} q_i k_i$

由于独立性，单项均值与方差为：

$$\mathbb{E}[q_i k_i] = \mathbb{E}[q_i] \mathbb{E}[k_i] = 0$$

$\text{Var}(q_i k_i) = \mathbb{E}[q_i^2 k_i^2] - (\mathbb{E}[q_i k_i])^2 = \mathbb{E}[q_i^2] \mathbb{E}[k_i^2] = \text{Var}(q_i) \text{Var}(k_i) = 1 \times 1 = 1$

总和的均值与方差为：

$\mathbb{E}[z] = \sum_{i=1}^{d_k} 0 = 0, \quad \text{Var}(z) = \sum_{i=1}^{d_k} \text{Var}(q_i k_i) = d_k$

• 结论：若不除以 $\sqrt{d_k}$，随着特征维度 $d_k$ 增长（如 $d_k = 64$），点积方差将膨胀至 64。送入 Softmax 后，极大值分量会压倒其余所有项，导致 Softmax 输出饱和（接近 1 或 0），导致反向传播梯度趋近于 0（梯度弥散）。
• 引入缩放因子后，$\text{Var}\left(\frac{z}{\sqrt{d_k}}\right) = \frac{d_k}{(\sqrt{d_k})^2} = 1$，方差重新收敛至标准正态分布，系统地保护梯度稳定流动。

---

二、 边界框回归损失函数演变全景（Smooth L1 到 Wise-IoU 与 DFL）

边界框回归损失函数经历了从“坐标独立优化”向“整框几何度量”，再向“动态样本权衡”与“连续概率分布”的三次革命演进。

Smooth L1 (坐标解耦，尺度不敏感)
   │
   ▼
IoU Loss (整框度量，但无重叠时梯度消失)
   │
   ▼
GIoU Loss (引入最小凸包，消除无重叠梯度消失，但内嵌态收敛慢)
   │
   ▼
DIoU / CIoU Loss (引入归一化中心距离与长宽比约束)
   │
   ▼
Wise-IoU (基于离群度动态非单调聚焦，平衡高低质样本梯度)
   │
   ▼
Distribution Focal Loss (DFL: 将标量坐标拓展为连续概率分布期望)

2.1 传统坐标解耦回归：Smooth L1 Loss

$$x = \text{pred} - \text{gt}$$ $$\mathcal{L}_{\text{Smooth L1}}(x) = \begin{cases} 0.5 x^2, & |x| < 1 \\ |x| - 0.5, & |x| \ge 1 \end{cases}$$

• 局限：将边界框解耦为 $[x, y, w, h]$ 四个独立标量分别计算误差。由于四个坐标之间存在紧密的几何空间关联，独立回归往往导致高 L1 精度却产生低 IoU 空间重叠；同时，对大目标与小目标尺度变化不具备几何不变性。

2.2 几何感知 IoU 系列损失演进

1. IoU Loss

$\mathcal{L}_{\text{IoU}} = 1 - \text{IoU}$

• 优势：对不同空间尺度具有一定适应性（Scale Invariance）。
• 关键缺陷：当两框空间无交集（$\text{IoU} = 0$）时，$\mathcal{L}_{\text{IoU}} \equiv 1$，梯度为 0，无法提供任何位置位移引导。

2. GIoU Loss（Generalized IoU）

$\mathcal{L}_{\text{GIoU}} = 1 - \text{IoU} + \frac{|C \setminus (A \cup B)|}{|C|}$

其中 $C$ 为包含预测框 $A$ 与标注框 $B$ 的最小封闭外接凸包矩形（Convex Hull）。

• 收益：当 $A \cap B = \emptyset$ 时，利用空置闭包面积作为惩罚项，促使两框靠拢。
• 缺陷：当预测框完全包含标注框（或高宽平齐）时，$|C \setminus (A \cup B)|$ 产生退化，收敛速度明显变慢。

3. DIoU Loss（Distance-IoU）

$\mathcal{L}_{\text{DIoU}} = 1 - \text{IoU} + \frac{\rho^2(\mathbf{b}, \mathbf{b}^{gt})}{c^2}$

其中 $\rho(\mathbf{b}, \mathbf{b}^{gt})$ 为两框几何中心欧氏距离，$c$ 为最小外接矩形的对角线长度。

• 机理：直接最小化归一化中心点距离，极大加快两框对齐收敛速度。

4. CIoU Loss（Complete-IoU）

在 DIoU 基础上引入长宽比一致性惩罚项：

$$\mathcal{L}_{\text{CIoU}} = \mathcal{L}_{\text{DIoU}} + \alpha v$$

$v = \frac{4}{\pi^2} \left( \arctan\frac{w^{gt}}{h^{gt}} - \arctan\frac{w}{h} \right)^2, \quad \alpha = \frac{v}{(1 - \text{IoU}) + v}$

• 机理：同时综合了重叠面积、中心点位移与长宽比三项几何要素。

5. Wise-IoU（WIoU v3 动态非单调聚焦）

传统 IoU 损失过度关注极难样本（如严重遮挡导致标注失真的模糊脏框），造成有害梯度主导训练。 Wise-IoU 提出基于异常离群度 $\beta$ 的动态权重调度：

$\beta = \frac{\mathcal{L}_{\text{IoU}}^*}{\overline{\mathcal{L}_{\text{IoU}}}} \in [0, +\infty)$

其中 $\overline{\mathcal{L}_{\text{IoU}}}$ 为全局动量平滑滑动均值。动态非单调聚焦加权系数定义为：

$r = \frac{\beta}{\delta \alpha^{\beta - \delta}}, \quad \mathcal{L}_{\text{WIoUv3}} = r \mathcal{L}_{\text{WIoUv1}}$

• 机制：
  • 当样本离群度 $\beta$ 适中时（中等难度优质正样本），赋予最高梯度权重；
  • 当 $\beta$ 极大时（离群低质极难样本），自适应衰减权重，抑制恶性梯度冲击；
  • 当 $\beta$ 极小时（简单易分样本），赋予较低权重避免无谓拟合。

2.3 分布焦点损失（Distribution Focal Loss, DFL）

现代前沿检测器（如 YOLOv8/v10/v11、RT-DETR）全面抛弃了将连续坐标直接回归为单一标量的设定，转向连续边界框概率分布建模。 由于标注边界往往存在模糊性（例如遮挡目标的后半截车身），将坐标值建模为 $n+1$ 个离散网格点上的概率分布：

$\hat{y} = \sum_{i=0}^n S_i y_i, \quad \text{其中 } S = \text{softmax}(\mathbf{z})$

DFL 通过相邻最近离散点 $y_l$ 与 $y_r$（$y_l \le y \le y_r$）的交叉熵损失，约束概率质量快速向标注值聚焦：

$\mathcal{L}_{\text{DFL}}(S_l, S_r) = - \left( (y_r - y) \log(S_l) + (y - y_l) \log(S_r) \right)$

• 收益：输出不仅包含空间位置期望，还自然表达了网络对该坐标预测的确定性与置信度。

2.4 七大边界框回归损失对比矩阵

---

三、 Precision-Recall 曲线与 COCO 评测体系

3.1 P-R 曲线绘制的算法流程

1. 预测流全局排序：将模型在测试集输出的所有预测框按照分类置信度得分降序排序。

2. 贪心逐框匹配：自最高分候选框开始遍历，与同类别标注框计算 IoU。若匹配成功且该标注框尚未被命中，标记为 TP；若无匹配或为重复检出，标记为 FP。

3. 累加轨迹计算：截断至前 $k$ 个预测框，计算此时的累计查准率与查全率：

   $$\text{Precision}(k) = \frac{\sum_{i=1}^k TP_i}{k}, \quad \text{Recall}(k) = \frac{\sum_{i=1}^k TP_i}{N_{\text{total\_gt}}}$$

4. 单调包络插值：针对 PR 曲线上的锯齿波动，采用右侧最大值插值消除噪声：

   $$p_{\text{interp}}(r) = \max_{\tilde{r} \ge r} p(\tilde{r})$$

3.2 极端置信度截断对评测指标的影响分析

• 场景：若盲目将置信度阈值调低至 0.001 以图提高分数：
  • Recall 表现：全图所有微弱特征均被保留，查全率趋近于极限高位；
  • Precision 表现：伴随数以万计的背景噪声被误判为正样本，FP 急剧上升，查准率急剧塌缩至零；
  • mAP 结果：由于 P-R 曲线整体被压制在近零高度，积分面积（AP）将出现断崖式下跌；且 COCO 协议严格规定每图最多仅评估前 100 个检测框，海量低置信度垃圾框将严重抢占标注目标的评估名额。

---

四、 会议论文 Experiments 规范与消融设计

1. 统一评估基线（Identical Protocols）：Baseline 必须列于消融表格首行，并公布未受修改的原版官方指标。
2. 渐进式正交消融（Orthogonal Ablation）：严禁多个模块同时加入且无控制变量。必须分别展示单一模块独立引入的增量收益，以及多模块联合调用的协同表现。
3. 计算复杂度与实际开销并重：表格应同时报告参数量（Params）、浮点运算量（FLOPs）以及目标硬件上的实际推理延迟（Latency / FPS），避免只比较精度而忽略资源开销。

---

五、本地运行记录

以下截图来自本机 PyTorch 环境中的当前轮执行记录；本课对应模块均为 PASS。

自注意力模块

自注意力逐步演示

mAP 评测指标