超越外观_面向以人为中心视觉任务的语义可控自监督学习框架

AI智韵

已于 2023-06-27 05:48:41 修改

阅读量259

点赞数

CC 4.0 BY-SA版权

分类专栏：高质量AI论文翻译文章标签：学习计算机视觉人工智能

于 2023-04-22 13:14:41 首次发布

不能复制，转发

本文链接：https://blog.csdn.net/m0_47867638/article/details/130303678

高质量AI论文翻译专栏收录该内容

184 篇文章 ¥99.90 ¥299.90

订阅专栏

SOLIDER是一个新的语义可控自监督学习框架，旨在从大量未标记的人类图像中学习通用的人类表示，特别适合于以人为中心的视觉任务。与现有自监督学习方法不同，SOLIDER利用人体图像的先验知识生成伪语义标签，引入语义控制器，允许用户按需生成具有不同语义信息比例的表示，以适应不同下游任务的需求。在6个不同的以人为中心的视觉任务上，SOLIDER超越了最先进的技术，为这些任务设立了新的基准。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

论文链接：https://arxiv.org/abs/2303.17602
以人为中心的视觉任务因其广泛的应用而受到越来越多的研究关注。本文旨在从大量未标记的人类图像中学习通用的人类表示，可以最大程度上有利于下游以人类为中心的任务。我们称这种方法为SOLIDER，一种语义可控的自监督学习框架。与现有的自监督学习方法不同，SOLIDER利用来自人体图像的先验知识构建伪语义标签，并将更多的语义信息导入到学习的表示中。不同的下游任务总是需要不同比例的语义信息和外观信息。例如，人体解析需要更多的语义信息，而行人重识别需要更多的外观信息来进行识别。因此，单一的学习到的表示不能满足所有的需求。为了解决这个问题，SOLIDER引入了一个带有语义控制器的条件网络。在模型训练完成后，用户可以向控制器发送值，生成具有不同比例语义信息的表示，以适应下游任务的不同需求。最后，在6个下游人类中心视觉任务上对SOLIDER进行了验证。它超越了最先进的技术，并为这些任务建立了新的基线。代码发布在https://github.com/tinyvision/SOLIDER。

1、简介

以人为中心的视觉分析在监控、体育、增强现实、视频制作等领域有着广泛的应用。行人重识别[13,14,41,82]，属性识别[72,78]，行人搜索[76,92]，行人检测[3,24,32]，人体解析[27,53]，姿态估计[58,90]近年来取得了相当大的进展。另一方面，在当前的计算机视觉社区中有大量的人类图像。例如，即使是一个未标记的行人重识别数据集，LUPerson [25, 26] (#Img≈4.18M)也比ImageNet数据集(#Img≈1M

了解本专栏