1.3 总结

此论文是开创性的，位置毋庸置疑。

缺点也是一目了然-->>

二. CenterNet

2.1 概述

基于CornerNet的改进版本，主要贡献是速度快精度准，当时是用在移动端利器

主要创新点：

• 使用中心点代替角点，直接回归长宽
• 使用Offset（CornerNet已经存在）
• 使得增加属性非常容易，比如depth、direction......

2.2 Center-Regression

对于CornerNet来说，回归两个角点+回归Offset+回归分组信息+NMS，显得特别繁琐，而且计算很慢！这里对其进行如下改进：

1. 使用中心点和 \(W、H\) 代替两个角点
2. 依然回归Offset对位置精度弥补
3. 去除分组对齐
4. 去除NMS

由于其核心是使用目标的中心点进行的操作，所以添加其它属性非常方便，如上图中的方向、关键点、深度......

三. FCOS

3.1. 概述

主要做的贡献如下（可能之前有人已提出）：

1. FPN分阶段回归
2. Center-ness Loss

3.2. 模块介绍

3.2.1 论文思路简介

论文整体比较简单，直接从头读到尾没有什么障碍，好像Anchor-free的文章都比较简单。下面直接以模块介绍。

文章中 \(l^*、b^*、r^*、t^*\) 表示label，\(l、b、r、t\) 表示predict

3.3.2 回归形式

文章直接回归 \(l、r、b、t、c\) 其中 \(c\) 表示种类，前面四个在上图中有表示。

回归采用正负样本形式：

• \(feature map\) 表示回归的特征图（以 \(M\) 表示）
• \(M_{i,j}\) 表示 \((i,j)\) 个点的特征值
• 将 \(M_{i,j}\) 映射到原图，假设当前特征图的总步长是 \(S\) （和原图比例），则原图点\(P_{i,j} =（\frac{S}{2}+M{i}*S，\frac{S}{2}+M{j}*S）\)
• \(P_{i,j}\) 落入哪个label区域，就负责回归哪个label，算作正样本。落到外部则算作负样本。
• 如果落在重复区域，按照上图的形式（哪个面积小，就负责哪个label）

文章采用FPN结构，用于提高召回率和精确度。参考Anchor-based（不同尺度的Anchor负责不同大小的目标），文章对不同的层进行限制目标大小：其中\(M_{1}、M_{2}、...M_{6} = 0、64、128、256、 512\)，按照 \(M_{i}<（l^*、b^*、r^*、t^*） 形式进行分配。

最后文章发现一个问题，NMS时候出现很多和最终目标接近的框，我们希望的是：负样本和正样本区分明显，而不是很多接近正样本的框（比如分类，虽然可以正确分类，但是出现很多 \(conf=0.45\) 的目标，我们希望出现\(conf_{pos}=0.99,conf_{neg}=0.11\)）。

文章通过设置 \(center\) 进行控制，对于那些中心偏离的目标进行抑制。我们不仅仅要IOU好，也要center好。文章通过新建一个新的分支进行center-ness进行回归。

3.3 参考文献

• 原始论文
• FCOS改进

四 ATSS

此论文对比anchor-free和anchor-base的区别，从而在anchor-base上提出一套自动计算anchor的工具。使用较少，这里略过。

五.GFLV1

5.1. 论文简介

将目标检测Loss和评价指标统一，提升检测精度。这是一篇挺好的论文，下面会将其拓展到其它领域。

主要做的贡献如下（可能之前有人已提出）：

1. 分类Loss+评价指标
2. Regression分布推广到一般性

5.2. 模块详解

5.2.1 谈谈分布

1. 什么是分布？表示一个数发生的概率，设 \(f=P(x)\) 表示分布函数，\(f\) 表示发生的概率，\(x\) 可能存在的数。1）显而易见，\(\int_{-\infty}^{+\infty}P(x)dx=1\)，所有的数存在概率总和为1。 2）\(y=\int_{-\infty}^{+\infty}P(x)*xdx\) ，它的整体期望（平均值）肯定是等于目标值的。
2. 什么是 \(Dirac\) 分布? 论文作者知乎回答

笔者给出简短说明：

• 先去看一下FCOS论文，其中使用 \(center-ness\) 计算预测框质量，两个作用：1）训练时抑制质量较差的框。2）前向计算时用于NMS操作指标。
• 问题来了。。。训练阶段、前向计算、评价指标没有统一？
• 论文魔改一下Focal-Loss、center-ness统一为一个Loss

• 此部分比较简单，基本和FCOS类似

# 代码出自mmdetection
@weighted_loss
def quality_focal_loss(pred, target, beta=2.0):
    """Quality Focal Loss (QFL) is from
    Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes
    for Dense Object Detection
    https://arxiv.org/abs/2006.04388

    Args:
        pred (torch.Tensor): Predicted joint representation of classification
            and quality (IoU) estimation with shape (N, C), C is the number of
            classes.
        target (tuple([torch.Tensor])): Target category label with shape (N,)
            and target quality label with shape (N,).
        beta (float): The beta parameter for calculating the modulating factor.
            Defaults to 2.0.

    Return:
        torch.Tensor: Loss tensor with shape (N,).
    """
    assert len(target) == 2, """target for QFL must be a tuple of two elements,
        including category label and quality label, respectively"""
    # label denotes the category id, score denotes the quality score
    label, score = target

    # negatives are supervised by 0 quality score
    pred_sigmoid = pred.sigmoid()
    scale_factor = pred_sigmoid
    zerolabel = scale_factor.new_zeros(pred.shape)
    loss = F.binary_cross_entropy_with_logits(
        pred, zerolabel, reduction='none') * scale_factor.pow(beta)

    # FG cat_id: [0, num_classes -1], BG cat_id: num_classes
    bg_class_ind = pred.size(1)
    pos = ((label >= 0) & (label < bg_class_ind)).nonzero().squeeze(1)
    pos_label = label[pos].long()
    # positives are supervised by bbox quality (IoU) score
    scale_factor = score[pos] - pred_sigmoid[pos, pos_label]
    loss[pos, pos_label] = F.binary_cross_entropy_with_logits(
        pred[pos, pos_label], score[pos],
        reduction='none') * scale_factor.abs().pow(beta)

    loss = loss.sum(dim=1, keepdim=False)
    return loss

5.2.3 回归Loss

主要包括两个部分：

• \(Delta\) 分布推广到任意分布

  • 论文公式（3）是 \(Delta\) 分布的期望，公式（4）和（5）是任意分布的期望
  • 直接预测多个（论文设置为16）值，求期望得到最佳值
  • TIPS: 效果肯定比 \(Delta\) 分布好，但是计算量会增加。小模型一般不适用，大模型使用较多。

• 限制任意分布

  • 任意分布会过于离散，实际真实的值距离label都不会太远
  • 限制分布范围，论文公式（6）
  • TIPS: 按照公式推导应该效果好（正在推广到关键点检测），使用任意分布的都可以加上试试。

# 代码出自mmdetection
@weighted_loss
def distribution_focal_loss(pred, label):
    """Distribution Focal Loss (DFL) is from
    Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes
    for Dense Object Detection
    https://arxiv.org/abs/2006.04388

    Args:
        pred (torch.Tensor): Predicted general distribution of bounding boxes
            (before softmax) with shape (N, n+1), n is the max value of the
            integral set `{0, ..., n}` in paper.
        label (torch.Tensor): Target distance label for bounding boxes with
            shape (N,).

    Return:
        torch.Tensor: Loss tensor with shape (N,).
    """
    # 完全按照论文公式（6）所示，label是真实值（目标框和anchor之间的偏差，参考FCOS）
    # pred的shape（偏差*分布），如果没有后面的分布，那就变成delta分布
    dis_left = label.long() # label范围[0,正无穷]，感觉这里应该-1然后限制一下范围最好。作者说long()向下取整，但是这解决不了对称问题。
    dis_right = dis_left + 1
    weight_left = dis_right.float() - label
    weight_right = label - dis_left.float()
    loss = F.cross_entropy(pred, dis_left, reduction='none') * weight_left \
        + F.cross_entropy(pred, dis_right, reduction='none') * weight_right
    return loss

5.3. 参考文献

• 原始论文
• 分布参考一
• 论文原理理解参考
• 论文代码理解参考

六. GFLV2

6.1 概述

这篇论文非常非常的简单，类似加入了一个全局信息的SENet模块、或者说Non-Local模块，读懂GFLV1之后，马上解决V2的问题。

此方法在小模型上不适合，在大模型上涨点明显。可以进一步推广，此方案用在大模型non-share Head中，而小模型都是共享Head的。