【CVPR2024】计算机视觉|EAOA : 深度学习新突破！有效降低标注成本！

论文地址：http://arxiv.org/pdf/2502.19691v2
代码地址：https://github.com/chenchenzong/EAOA

关注UP CV缝合怪，分享最计算机视觉新即插即用模块，并提供配套的论文资料与代码。
https://space.bilibili.com/473764881

摘要

在主动学习（AL）中，从大量的未标记候选样本中迭代查询最具信息量的样本以进行模型训练，在存在开放集类别时面临着巨大的挑战。现有方法要么优先查询可能属于已知类别的样本，表明认知不确定性（EU）较低，要么侧重于查询那些预测高度不确定的样本，反映了偶然不确定性（AU）较高。然而，它们都会产生次优的性能，因为低EU对应于有限的有用信息，并且未知类别样本的闭集AU指标意义不大。本研究提出了一个基于能量的主动开放集标注（EAOA）框架，该框架有效地整合了EU和AU，以实现卓越的性能。

EAOA的特点是一个**(C+1)类检测器和一个目标分类器**，结合了基于能量的EU度量和为检测器设计的基于边际的能量损失，以及目标分类器的基于能量的AU度量。另一个关键组成部分是目标驱动的自适应抽样策略。它首先形成一个具有低EU得分的较小候选集，以确保闭集属性，使AU指标有意义。随后，查询具有高AU得分的样本以形成最终的查询集，并自适应地调整候选集的大小。大量的实验表明，EAOA在保持高查询精度和低训练开销的同时，实现了最先进的性能。

引言

深度神经网络在大量精确标注的数据集上取得了成功，但获取这些数据往往成本高昂且耗时，主要是因为手动标注的劳动密集型特性。为了节省标注成本，近期的研究主要集中在开发有效的模型训练技术上，这些技术利用有限且不充分标注的数据。其中，主动学习（AL）已成为一种流行的框架，它迭代地从大量未标注的数据池中选择信息量最大的样本，并从专家处查询它们的标签。

现有的主动学习方法可以根据其抽样策略分为三种类型：基于不确定性的、基于多样性的和混合策略。这些方法大多在封闭集假设下运行，即未标注数据中的类别与已标注数据中的类别相匹配。然而，在现实场景中，确保未标注数据中不存在开放集类别是具有挑战性的，而且成本高昂。同时，一些研究表明，当涉及到开放集类别时，这些方法表现不佳，因为这些样本往往会收到不确定的模型预测，并表现出不同的特征。因此，为存在开放集类别的开放世界场景开发有效的主动学习方法具有重要意义。

最近，这个新兴的研究问题引起了相当大的关注。例如，在LfOSA中，作者将这个问题表述为开放集标注（OSA），并利用查询到的未知类别样本来训练一个**(C+1)类检测器**，用于拒绝开放集样本，并更多地关注选择已知类别样本。两种最新的方法，EOAL和BUAL，采用了类似于LfOSA的结构，EOAL旨在提高已知类别样本的识别率，而BUAL则更侧重于对高度不确定的样本进行抽样。尽管这些方法表现出很高的查询精度，但本研究发现它们无法实现令人满意的测试精度，并且难以识别信息量最大的样本。

为了分析它们失败的原因，本研究回顾了不确定性量化的概念。认知不确定性是指对于以前没有遇到的实例保持较高水平的度量，当这些实例被纳入训练时，这种不确定性会降低。相比之下，偶然不确定性的特点是在模糊的例子中数值升高。在封闭集设置中，具有高认知不确定性的例子倾向于存在于表示空间的低密度区域，而那些具有高偶然不确定性的例子可能由于模糊的特征而出现在决策边界附近。这两种类型都是潜在的查询目标。然而，在开放集场景中，具有高认知不确定性的例子很可能是开放集实例，而偶然不确定性仅在封闭集上下文中才有意义，因为它反映了不同可观察类别之间的模糊性。因此，选择具有低认知不确定性（以确保封闭集）和高偶然不确定性的例子是更合理的选择。然而，LfOSA和EOAL侧重于查询具有低认知不确定性的例子，而BUAL优先查询那些具有高偶然不确定性的例子。这可能是它们失败的潜在原因。

论文创新点

本研究的创新点主要体现在以下几个方面：

1. 💡 能量驱动的认知不确定性度量： 💡

   • 本研究设计了一种基于能量的认知不确定性度量方法，用于检测器，该度量结合了学习和数据驱动的视角。
   • 通过计算已知类别和未知类别的自由能量得分之差来评估认知不确定性，这使得在数据有限的情况下也能实现可靠的不确定性评估。
   • 这种方法能够更准确地识别出属于已知类别的样本，从而提高查询精度。

2. 🔍 能量驱动的偶然不确定性度量： 🔍

   • 本研究为目标分类器提出了一种基于能量的偶然不确定性度量。
   • 该度量通过计算所有类别和次要类别的自由能量得分之差来定义。
   • 这种方法能够有效捕捉到类别之间的混淆，从而识别出更具信息量的样本。通过关注那些模型预测置信度较低的样本，可以进一步提升模型的学习效率。

3. 🎯 目标驱动的自适应采样策略： 🎯

   • 本研究提出了一种由粗到精的查询策略。
   • 该策略首先选择具有较低认知不确定性的样本，形成一个较小的候选集合，以确保候选集具有闭集属性，从而使偶然不确定性度量有意义。
   • 随后，从该集合中查询具有较高偶然不确定性的样本，并通过一种新的目标驱动策略自适应地调整候选集合的大小。这种策略能够有效地平衡认知不确定性和偶然不确定性，从而选择出最具信息量的样本。

4. ⚖️ 基于Margin的能量损失： ⚖️

   • 本研究为检测器训练引入了一种基于margin的能量损失，旨在最大化已知类别的自由能量得分，同时最小化未知类别的自由能量得分，从而增强未知类别的检测能力。
   • 通过这种方式，可以提高检测器区分已知类别和未知类别的能力，从而提高主动学习的性能。

论文实验