论文收录在ICCV 2021中。 看到这篇论文我想起了DDOD和ATSS。 这篇文章提出了分类和回归的样本要分别选择。 在一个地方铺设多个anchor，可以获得提高的性能。 DDOD也提出了分类和回归的样本分离。 对于ATSS，在一个地方铺设多个anchor是无效的，许多目标检测的默认设置可能不是最佳的。 ATSS论文主题： mutualsupervisionfordenseobjectdetection论文地址： https://arxiv.org/abs/2109.05986摘要分类头和回归头都是构建密集目标探测器不可缺少的为了通过检测管路准确地检测目标，文中打破了与密集检测器中两个头部训练样本相同的惯例，探索了一种称为相互监测( MuSu )的新监测范式。 分别向分类头和回归头分配训练样本，相互分配训练样本以确保一致性。 MuSu主要根据分类预测点数定义回归头训练样本，根据回归头回归点数定义分类头样本。 实验结果表明，该方法保证了互监测训练检测器的收敛性，并通过具有挑战性的MS COCO基准测试验证了该方法的有效性。 另外，发现在同一位置排列较多的锚杆有利于探测器，会导致该训练方案下的进一步改善。 希望这项工作能启发检测中分类与回归任务的相互作用和检测器监控范式的进一步研究，特别是这两个头的分离。 1 .概要目标检测作为计算机视觉领域的基本视觉任务之一，几十年来一直受到研究者的关注。 特别是随着卷积神经网络( CNNs )的兴起，社区目睹了探测器方法和性能的迅速发展。 从基于区域的检测器，到单级密集检测器，再到基于端到端传输的检测器，这些方法中，一级检测器(又称密集检测器)最受欢迎的是其速度、准确性及其平铺锚密集的由于检测任务是同时进行分类和定位的任务，目标检测器生成的边界框有望具有准确的分类标签和良好的定位，密集检测器当然也不例外，对于密集检测器，这两个任务通常通过特殊的分类和回归头来完成。 对于来自主干网络的同一输入配置文件，预计这两个传感头的功能将不同。 分类头将其转换为具有小位移的分类分数，回归头将其转换为与从锚点到边界框的位移相对应的回归偏移。 因此，这两个任务之间存在内在的不一致。 精确的密集物体探测器必须产生具有精确标签的高质量边界框，这就需要这两个不同功能的头部在最终输出的同一空间位置进行配合。 换句话说，收敛检测器必须确保物体的最大分类和回归得分出现位置的空间一致性，但是即使是收敛检测器也很难实现这个目标，训练图像就是图1所示的输入图像。 在许多情况下，不同的位置会出现最大的分类分数和针对对象的最准确的定位框，这种不一致会影响当前检测流水线中最终模型的性能，特别是在典型的后处理非最大抑制( NMS )过程中。 在不考虑对准精度的情况下，只留下重叠框中分类得分最大的框，从而抑制了局部对准良好但分类得分低的边界框，检测器的性能差。

为了解决这一问题，以往的工作主要关注这些磁头的输入特征和网络结构，从特征和结构的角度分离分类磁头和回归磁头，不同的是从这两个头的监督角度研究这一问题，具体来说，分别是两个头MuSu将训练样本的定义进行分离，分别用于分类报头和回归报头，使它们相互依赖。 如图2所示，在两个报头之间不共享训练样本，并且根据回归报头中预测帧和实帧之间的IoU (交叉over联合)分数来自适应地确定分类的训练目标。

同样，回归头的训练示例是通过对头中的分数进行分类来定义的。 然后，MuSu通过每个空间位置的损耗相关权重将这两个头的训练样本得分转换为软目标。 这样，MuSu的目的是通过训练阶段的相互分配来保持这两个头之间的一致性。 在这种相互监控方式下，MuSu还享受了训练样本自适应来自网络本身的优势，同时MuSu免除了手工制作的几何先验，摆脱了金字塔级的微妙处理。 从这个意义上说，MuSu在完全自适应样本分配方面又前进了一步，更全面地释放了探测器的力量。 我们在MS COCO数据集上进行了大量的消融实验，验证了所提出的MuSu方法的有效性。 具体地说，MuSu将具有ResNet-50骨干的FCOS检测器从普通的90k训练方案的COCO验证集提高增加到40.6 AP，在不牺牲推理速度的情况下，同样的时间也有更多的安培我们认为，我们的分类和回归头交互监测方法可以更充分地利用多个锚定设置，在提高上提高性能，利用MuSu训练有较大主干的模型比较先进模型。 我们的模型是兄弟头分类头和回归头是一般目标检测器的基本组件，其中主干的输入特征分别转化为分类点数和预测框，区域CNN(R-CNN )检测器通常为区域网络共享头( 2fc ) 特征图外汇集的感兴趣区域) RoI )进行分类和更精细的定位，提出r-CNN检测器的不同头部，为了通过单独网络达到分类和回归输出的一致，认为TSD在分类头和回归头上需要不同的空间特征。 对于密集的物体检测器，由于没有RoI算子，不同头部特征难以分离，处理就不那么直接。 常见的做法是分类头和定位头分别由几个卷积层组成，希望在输入特征相同的情况下实现不同的功能。 与以往研究的特点和结构不同，我们提出的方法从每个头部分别设计训练样本的角度解决了不一致的问题。 传统的监管方法只涉及回归到分类，或回归到分类的单向监管，而我们提出的MuSu通过对应头部输出定义的训练样本对每个头部进行监管，确保双向一致性。 2.2 .在选择训练样本的背景下选择训练样本的最常用策略是使用IoU作为锚点和接地盒之间的标准。 近年来，基于几何关系、分类分数、IoU或两者提出了训练样本选择策略，FreeAnchor确定候选定位点在训练阶段属于哪些对象，从而进一步挖掘检测器的潜力，FreeAnchor通过分类分数和IoU ATSS利用目标锚相关的iou统计信息确定阳性样本，PAA在训练样本的选择上引入概率过程，期待最大化算法来确定样本。 所有这些工作都带来了性能的改善，表明了设计更好的训练样本的重要性。 我们的方法遵循这项研究的思路，但与上述方法不同。 我们通过将不同的样本分配到不同的头上进一步改进了自适应训练样本。 我们提出的方法是从IoU中自动挖掘分类样本，从分类得分中自动挖掘回归样本。 幸运的是，多亏了这种相互监视，我们的MuSu方法也摆脱了这些适应方法的每个金字塔级的几何先验和微妙处理。 从这个意义上说，我们提出的MuSu方法是迄今为止最干净的分配自适应训练样本的方法，同时得到了

3 .在提出的方法中，为了进行准确的检测，密集检测器最好在分类报头和回归报头之间一致。 由于后处理NMS仅在存在多个重复检测的情况下保持最大分类可靠度的检测，因此在RetinaNet这样的检测器中，分类头由预测和实帧的重复高于一定值的监视信号来训练，没有考虑实帧的局部化程度。 事实上，在目前的管道中，分类可靠性有望不仅代表检测器分类的好坏，而且也代表检测器回归的好坏。 因此，分类头监督的空间分布必须依赖于回归头的回归表达。 也就是说，iou得分越大，分类监督越强，相反，分类得分高的要加强回归监督，分类的也要正确回归。 图2显示了它们之间的依赖关系和相互监督。 作为这种相互哲学的简单例子，介绍了密集型目标检测器的相互监视( MuSu )算法。 具体地说，MuSu对这两个头部和头部相互分配训练样本，以确保训练中分类和回归的一致性。 MuSu通过排序机制对定位点损失进行加权，以软目标形式处理训练样本。 MuSu可以描述为3个步骤：1)通过组合分类头和回归头构建自适应候选袋，选择概率最高的候选锚。 )2)从候选包内部分类和回归的角度分别计算候选排序； 3 )将这些排名转化为权重，计算各积分损失，监测分类和回归头。 MuSu算法记载在算法1中

这里，是从0到1不同的超参数，考虑头部自身的输出进行正规化。 我们的互监测方案可以是广义的训练样本框架，其中=1表示最近研究的基于两个头部联合似然的训练样本策略，=0表示直接的互监测，而无需监测头部本身的归一化。 3.3 .获得损失权重范式正规化标准vclsi和vreg i时，MuSu按每个候补数据包分别按照降序对这些值进行排序，用于分类和向头部的回归，获得被排序的Rclsi和Rreg i (从0开始，在步骤1中增加) ) ) )，因为MuSu对每个候选人的损失进行加权，所以用软目标形式监督这两个头部，候选人的权重wclsi和wreg i分别由各候选人的排名决定，MuSu用负指数方式将排名转换为权重

这里 CLS和 reg是分类和回归头的温度系数，表示对一个对象分配多少个样本权重。 顺序r ( ) ( I变大) v ) ) I变小)，则权重以与温度) )相关联速度呈指数函数下降，但由于相互监视方案，能够单独地控制各头的正的训练采样数，回归头较少

其中，归一化项N=i wi和li是与分配给每个锚I的预测和实框相关的损失函数，l是每个报头的任意损失函数，例如分类的focal loss和回归的GIoU损失。 关于focal loss的未指定类的详细情况在4.1节中讨论。 值得注意的是，MuSu实际上是建立在这些基本损失之上的超损失公式，而不是分类或回归的特定损失函数。 实际上，MuSu的重点是从两个方面考虑每个机头的采样分配。 首先，位置I的ground-truth分配指示哪个对象是位置I的监视目标。 第二，分配的训练样本的权重，wi，表示我应该被监测多少。 此外，将分配策略与潜在损失函数的选择分离开来，并关注候选软件包中锚点的相对排名，以使损失的绝对幅度不影响分配。 作为几个重点，我们总结提出了相互监视方法MuSu。 首先，MuSu利用对应的人头分数空间分布，通过各种方式自适应确定分类头和回归头训练样本。 在这个例子中，可以避免手动训练样本和几何线索两者。 因此，MuSu作为一种简单通用的训练样本选择方法出现； 接着，MuSu允许检测器使分类点数和iou点数一致，估计检测器对NMS程序和最终检查测评友好； 第三，MuSu解决了互监测训练样本的分配和基础损失函数的选择问题，利用相对排序确定了这些锚相关的损失权重，可以扩展到未来任何损失函数的改进； 最后，实验表明MuSu通过向回归头分配较少的正样本，集中在分类点数较高的位置，缓解回归头的回归难度，使经过MuSu训练的探测器具有良好的性能。 4 .实验为了验证我们提出的分类和回归头互监测方案的有效性，本节对MS COCO检测数据集进行了实验，按照以往工作的一般做法，利用由115K图像组成的trainval35K子集对模型进行了训练，得到了5k图像的MMC 此外，还将测试子集的最终模型结果(标签为私有)提交给MS COCO评估服务器，并与最先进的模型进行了比较。 在mmdetection代码库中实现了MuSu方法。 4.1 .实现详细网络结构理论上，我们的互监测方法是高密度物体探测器通用的。 文中采用最近提出的高密度检测器FCOS作为网络结构，FCOS体系结构通过将分组归一化为分类和回归检测头，为FPN上的每个金字塔级增加了可训练标量，利用回归头最后特征图的中心层进行了许多不精确的检测因此，作为密集检测器的强基线，由于所提方法自适应选择训练样本，且不依赖固定的中心度估计，所以将FCOS架构中中心度层的输出重定向到分类的输出报头，并通过乘法将其合并得到最终的分类得分。 Initializations是我们的实验，所有检测器的主干都是从在ImageNet数据集上预训练的模型初始化的。 为了在初始训练期间保持稳定，将回归头的最后一个卷积层的权重初始化为零。 另外，对FPN的各特征金字塔级别设定了一定的步幅系数，对回归框进行了缩放。 从最佳金字塔等级P3的步幅s=8到等级P7的s=128，通过这些设定，可以根据回归分支预测各位置，初始化为同样大小的2s2s的FPN等级的方块，在早期反复中作为几何事前进行更稳定的相互监视。 将温度cls设置为候选包大小的平方根，以控制分配给相互监视实例化对象的正采样数，并将回归分支温度设置为分类温度的一半(cls: reg=2: 1)的默认值。 也就是说，

cls和reg为真框j的候补信息包所固有，当候补信息包的大小发生较大变化时，根据平方根算子不同，温度会在不同对象之间适度变化，从而得到更稳定的训练。 把式2的阈值系数b设定为0.1作为默认值。 我们将focal loss作为分类的基础损失，将GIoU损失作为回归的基础损失。 focal loss损失将检测中的分类任务处理为多类二元分类问题，对于一个定位点，既存在对非目标类的消极分类，也存在对目标类的积极分类。 另外，对于被分配了软目标的范畴也应该采用否定的分类，所以要慎重处理，将focal loss分为3个部分。 分配的类别标签的积极术语、分配的类别标签的消极惩罚术语和其他未分配的类别标签的背景术语将损失形式扩展到了公式5。

整个实验过程中，优化和推理采用了学习率为0.01、运动量因子为0.9、权重衰减为0.0001的SGD优化模型，训练共使用16幅图像，每个GPU使用两幅图像，主干中批量一阶的统计量和仿射参数被冻结如下： 对于消融研究，在90K迭代中采用ResNet-50骨干训练模型，前500次迭代中进行学习的90K训练程序所有图像均调整为短尺寸800、长尺寸1333以下，随机水平翻转作为唯一的数据增强。 在推理阶段，不随机反转输入图像的大小，调整为与训练中相同的大小，在检测管路中将分类得分的阈值设定为0.05，将NMS阈值设定为0.6，按照最近的一般做法，在整个实验中维持了最优化和推理的详细情况4.2 .相互监视的训练相互监视研究我们进行了FCOS FCOS作为从密集的信号和服务器监视中密集的检测器的竞争基线，在表1中得到了36.5 AP。 表1的FCOS模型显示了改进的体系结构，更重要的是高度手工制作的训练样本，仅在目标中心区域内分配正样本，而我们的MuSu是用于密集目标检测器的自适应训练样本分配方法这是为了决定我们的方法对每个头部采用哪个训练样本选择策略。 表1中，对数学式3的基准值进行了不同设定的实验。

两个头的权重完全由单个头的输出(分类pi或回归qi )决定，为两个头指定相同的参考值。 也就是说，在没有交互方案的情况下，只进行单向监视，结果分别为38.3和31.8 AP。 无正则化项(假设=0.0 )朴素的相互监视达到38.5 AP，与高度手工制作的fcos模型相当。 加入正则化因子时，=1/6时模型性能也很明显(提高至40.4 AP，正则化因子=1/3时，相互监督训练的模型性能比最优的fcos模型提高增加2.0 AP 我认为归一化项是分配所必需的。 这是为了让每个人都认识到自己在训练过程中是如何学习的，并利用每个人的预测来避免分配的变动。 值得注意的是，对2个头分配相同的训练样本，选择基准值=1.0的MuSu也是相互监视的情况。 一个头部的教练也知道对方头部的预测。 在这个意义上，我们包含了基于联合的训练样本。 在我们提出的MuSu法中，虽然用最近的方法探索了可能性，但是在筛选更多的锚时，同样的标准策略(=1)会受到停滞或者退化的性能，=1/3的MuSu从更多的锚中受益。 以下进行说明。 关于候选包和温度的研究，如3.1节所述，候选包设计为通过分类和回归联合似然自适应过滤大量背景锚，候选包仅作为防止下一次相互分配过程中出现明显不合适锚的初步步骤表2中，改变系数来观察其影响。 系数b=0.10可以得到最好的结果。 因为一个候选数据包也可以适应其大小，所以MuSu可以更多地聚焦于分类和回归之间不一致很强的对象上，通过公式4和公式6的关系，可以给这些对象分配更多的正样本。 使适应温度w.r.t数据包大小无效，通过将cls和reg设定为固定数，验证适应候补数据包在最终检测器上的有效性。 使用适应候选数据包时，借用平均温度cls和reg，将分类cls的温度设定为对象间的固定常数5.0，维持cls: reg=2:1，对于更多的消融，在表3中增加了情况cls=10.0。

发现适应温度作为袋子大小的函数有利于我们的方法，从不一致的角度适应钻井困难目标。 另外，在表4的锚袋尺寸的适应温度设定下，给出了应用不同温度比率对每个头部分配样品( cls: reg )的结果，表明适度减少回归样品有利于精细定位和整体性能。

软目标和硬目标是由于我们的方法通过加权损失将两个头部的训练样本定义为软目标，一个自然的问题是能否使用硬目标而不是软目标实现同样的性能。 将公式4修正为w(I=I(r ) ( I) ) )来训练硬目标模型，其中I ) )是指示函数，得到了比软目标方案低0.6 AP的40.0 AP模型。 我们方法中的软目标与为了统一回归得分而灵活分类的想法相同。 铺设多锚在输出检测图各空间位置布置多个锚是密集目标检测器中尽可能多地覆盖不同比例尺和长宽比图像框的常用方法，该策略为了在一次检测器和二次检测器的方案网络中获得更好的性能最近的研究通过改变样本分配策略，挑战了排列更多锚的必要性，表明在其设置下配置更多锚并不能提高性能。 为了考虑多个锚点的情况，初始化最后一个卷积层的偏移参数，设置锚点的初始比例和长宽比，并创建边界框。 分别从区间[ 1，2 ]和[ 1，2 ]中均匀随机提取锚点比例因子和长宽比。 令人惊讶的是，在我们的相互监视方式中，即使没有精心设计的尺度和纵横比的设定，排列更多的锚也会有助于竞争结果的检测性能。 如表5所示，这些结果表明，MuSu可以利用检测器更多的定位设置，且当在每个位置添加定位点到3或4时，检测器的性能从提高变为约40.9 AP的=1.0的两个化身添加更多定位点时会出现不好的情况，最终的MuSu模型比fcos模型高2.3 AP，比普通的fcos模型高4.1 AP，比竞争基线(=1.0，#A=1)高0.5 AP

4.3 .与领先技术的比较为了与其他领先的训练样本选择检查方法进行比较，我们使用更深的骨干和可变形卷积来匹配我们的MuSu训练，为了与前面的工作进行公平的比较，将训练计划扩展到180K迭代，将120K和160K迭代的学习率提高到0.1倍对于输入图像，将短侧调整为随机选择的比例值[ 640，800 ]，针对每个位置在3个定位点训练MuSu检测器( #A=3)，对于DCN变化，在各头部的最后一层是可变形的卷积层如表6所示，ResNet-101检测器和MuSu训练的DCN变体在整体AP上超过了以前的DCN变体，同时在推理阶段实现了新的最先进的AP75。 没有华丽的东西。 另外，MuSu训练的模型与将评分投票作为推理阶段进行了改进的PAA模型相同。

值得注意的是，我们的MuSu提供了我们提出的相互监测的简单实例，该方案通常与各头部的PAA算法等特定训练样本选择方法兼容，以期待更好的结果。 5 .结论本文提出了一种训练精密密集目标探测器的互监测( MuSu )方案。 该方案打破了与分类头和回归头训练样本相同的惯例，采用软目标方式基于互输出对这两个头进行监测。 MuSu在选择完全自适应训练样本上又前进了一步。 不是进行微妙的几何设计，而是将不同的样本相互分配给这两个头。 另外，对我们提出的相互监视下的多个定位点的设置进行了讨论，发现对我们的方法是有益的，在具有挑战性的MS COCO基准上的实验结果验证了我们提出的MuSu训练方案在检测器上的有效性。