MMDet——Deformable DETR源码解读

Question

如题所述

Answer 1

Deformable DETR: 灵活与精准的检测架构

Deformable DETR是对DETR模型的革新，通过引入Deformable结构和Multi-Scale策略，实现了性能提升与训练成本的优化。它解决了DETR中全像素参与导致的计算和收敛问题，通过智能地选取参考点，实现了对不同尺度物体的高效捕捉。这种结构弥补了Transformer在视觉任务上的局限，如今已经成为业界标准。

核心改进在于对Attention机制的重塑，Deformable DETR基于Resnet50提取的特征，融入了多尺度特征图和位置编码，生成包含目标查询的多层次特征。其架构由Backbone（Resnet提取特征）、Transformer编码器（MSdeformable self-attention）和解码器（MultiheadAttention和CrossAttention）组成，每个组件都发挥关键作用：

Backbone：Resnet-50作为基础，提取来自第一到第三阶段的特征，第一阶段特征被冻结，使用Group Normalization。
Neck：将输入通道[512, 1024, 2048]映射到256通道，利用ChannelMapper，生成4个输出特征图。
Bbox Head：采用DeformableDETRHead类型的结构，负责目标检测的最终预测。

Deformable Attention的核心在于其创新的处理方式：参考点（Reference Points）作为关键元素，预先计算并固定，offsets由query通过线性层生成，Attention权重由query通过线性变换和Softmax函数确定。而在Value计算上，输入特征图通过位置选择，结合参考点和offset，实现精确特征提取。最后，Attention权重与Value的乘积经过Linear层，得出最终输出。

在Decoder部分，Self-Attention模块关注对象查询，Cross-Attention则在对象查询与编码器输出间进行交互，生成包含物体特征的query。输入包含了query、值（编码器特征图）、位置编码、padding mask、参考点、空间形状等信息，输出则是每层decoder的object query和更新后的参考点。

简化后的代码，突出了关键部分的处理逻辑，如Encoder使用Deformable Attention替换传统的Self Attention，输入特征map经过处理后，参考点的初始化和归一化操作确保了模型的高效性能。Decoder中的注意力机制和输入输出细节，都展现出模型灵活且精准的检测能力。

Deformable DETR的设计巧妙地融合了Transformer的灵活性和Transformer架构的效率，为目标检测任务提供了全新的解决方案，展现出了其在实际应用中的优越性。