【报告内容】

汇报人：李牧元

汇报单位：福建理工大学

主题：《FSCE: Few-Shot Object Detection via Contrastive Proposal Encoding》

1、Introduction

2、Method

3、Experiments

4、Conclusion

【报告总结】

一、待解决的问题描述

1、任务目的：使模型通过少量新目标样本的训练，可以获得识别图像中新类别实例的能力。

2、现有研究：TFA方法，首先将预训练模型在基础类别数据集上进行基训练获得视觉先验知识，然后在新类别数据上进行微调拟合新类别目标。

3、研究遇到的问题：由于数据不平衡（基础类别数据量很大而新类别数据量又很少），模型通常会面临泛化能力不佳的问题，表现为将新类别目标错分类为基础类别目标。

4、本文的动机和解决方法：他们观察到好的特征嵌入对小样本学习的提升有很大帮助并且有不同IoU（交并比）的提议区，在对比方法中有类似类别内数据增强的作用。所以这篇文章就提出了Contrastive Proposal Encoding方法来解决错分类问题。

5、文章的贡献：研究了对比方法中有类似类别内数据增强的作用的原因，用监督的对比方式获得了在FSOD中强鲁棒性的表征。

二、相关创新方案

动机：

首先，在一篇综述文章中有提到，无监督预训练的模型因为前置任务是fairly general的，所以他对下游任务泛化行很好。但是如果我将这个泛化性很好的模型引入到小样本目标检测领域，还是按照TFA方法，先基础训练得到高质量的提议区网络，再微调肯定会破获无监督这种强表征的模型。

第二，我在另一篇文章中找到了灵感，他们是将骨干网解耦成三个连续的矩阵，在训练的过程中冻结其中两个的参数，训练其中一个的参数，这样在保留骨干网中语义信息的同时也可以避免过拟合基础类别。

第三，在针对分类问题的过程中我引入了专门为小样本分类任务设计的Negative Margin Loss，相比较以前的cosin相似度，这种损失有理论证明并且有效。

最后，为了提高在小样本环境下的定位精度，我引入了Cascade方法优化回归定位问题。

解决方案：

1、他们的模型在TFA模型的基础上引入了新的训练参数，这导致训练参数过多可能过拟合新类别目标；

2、他们的骨干网是在Imagenet分类任务上预训练的模型，这导致分类任务迁移到目标检测任务上可能会表现不佳；

最后，他们在分类上的损失函数是基于cosin相似度的，这个相似度是一个实践标准，但是并没有理论证明其合理性。

三、实验总结

在实验设计上我们基本上沿用FSCE框架，不过我们有我们的不同点：

在Base training阶段，我们训练黄色部分的参数并固定蓝色部分的参数，这样做的目的是：

1、保留无监督骨干网中的强语意信息；

2、获得一个高质量类别不可知的提议区网络

在finetuning training阶段，我们训练黄色部分的参数并固定蓝色部分的参数，这样做的目的是：

1、减少学习参数避免过拟合新类别数据

2、在backbone中增加新的学习参数提高对新类别数据的表征能力。

四、未来工作

小样本目标检测面临的主要问题可以总结为两个方面。首先，样本数据量非常有限，这使得训练目标检测模型变得更加困难，因为模型需要从有限的数据中学习并泛化到新的目标类别。其次，许多方法通常使用ImageNet等大规模预训练的模型来初始化权重，这种做法可能导致小样本目标检测中的模型过拟合问题。

这两个问题的结果之一是，小样本目标检测模型很容易出现过拟合现象，即在训练数据上表现良好，但在新类别上的泛化性能较差。因此，未来的研究重点应该集中在如何减少过拟合问题，以提高模型在新类别上的泛化能力。这可能需要探索新的训练方法、数据增强技术、正则化方法或其他策略，以确保小样本目标检测模型能够更好地适应新的目标类别，从而在实际应用中取得更好的性能。

报告时间：2023年09月08日19:30

腾讯会议：371 3868 6615

点我下载本讨论课相关文献或PPT吧~(提取码：iipr)