TPAMI 2024 | SketchTrans：使用Transformer进行草图照片识别的纠缠原型学习

最新推荐文章于 2025-08-15 09:50:45 发布
最新推荐文章于 2025-08-15 09:50:45 发布
阅读量250 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 论文解读 IEEE TPAMI 文章标签： transformer 学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/139219619

题目：SketchTrans: Disentangled Prototype Learning With Transformer for Sketch-Photo Recognition

SketchTrans：使用Transformer进行草图照片识别的纠缠原型学习

作者：Cuiqun Chen; Mang Ye; Meibin Qi; Bo Du

源码链接： https://github.com/ccq195/SketchTrans

摘要

在手绘制草图与照片匹配（即草图-照片识别或重新识别）中，由于草图模态的抽象性质，存在信息不对称的挑战。现有的工作倾向于通过丢弃照片图像的外观线索或引入生成对抗网络（GAN）进行草图-照片合成，来学习共享嵌入空间的CNN模型。前者不可避免地损失了可判别性，而后者则包含了无法抹去的生成噪声。在本文中，我们首次尝试设计一种通过跨模态解耦原型学习的信息对齐草图变换器

了解本专栏 订阅专栏 解锁全文
TPAMI 2024 | TransFuser: 基于Transformer的传感器融合用于自动驾驶的模仿学习
小白学视觉
08-15 1004
如何将互补传感器的表示集成用于自动驾驶？基于几何的融合在感知方面表现出了前景（例如，对象检测，运动预测）。然而，在端到端驾驶的背景下，我们发现基于现有传感器融合方法的模仿学习在具有高密度动态代理的复杂驾驶场景中表现不佳。因此，我们提出了TransFuser，一种使用自注意力机制集成图像和激光雷达表示的机制。我们的方法使用多个分辨率的变换器模块来融合透视图和鸟瞰图特征图。我们在具有长路线和密集交通的新挑战性基准测试以及CARLA城市驾驶模拟器的官方排行榜上验证了其有效性。
TPAMI 2024 | P2T：用于场景理解的金字塔池化Transformer
小白学视觉
08-19 836
最近，视觉Transformer通过推动各种视觉任务的最前沿取得了巨大成功。视觉Transformer面临的最大挑战之一是图像标记的大序列长度导致高计算成本（二次复杂度）。解决这个问题的一个流行方法是使用单个池化操作来减少序列长度。本文考虑了如何改进现有的视觉Transformer，其中通过单个池化操作提取的池化特征似乎不够强大。为此，我们注意到金字塔池化由于其在上下文抽象方面的强能力，在各种视觉任务中已被证明是有效的。然而，金字塔池化尚未在主干网络设计中被探索。
TPAMI 2024 | Diversify：一种时间序列分布外检测和泛化的通用框架
小白学视觉
07-29 1596
题目：Diversify: A General Framework for Time Series Out-of-Distribution Detection and Generalization Diversify：一种时间序列分布外检测和泛化的通用框架 作者：W. Lu; J. Wang; X. Sun; Y. Chen; X. Ji; Q. Yang; X. Xie 摘要 时间序列仍然是机器学习研究中最具挑战性的模态之一。时间序列的分布外（OOD）检测和泛化常常由于其非平稳性质而面临困难，即分布随时
TPAMI 2024 | Box2Mask: 基于包围盒的实例分割算法
小白学视觉
08-19 766
与使用像素级掩码标签的全监督方法不同，基于包围盒注释的实例分割利用简单的框注释，最近吸引了越来越多的研究关注。本文提出了一种新颖的单次实例分割方法，即Box2Mask，它将经典水平集演化模型整合到深度神经网络学习中，仅使用包围盒监督就能实现精确的掩码预测。具体来说，输入图像及其深度特征被用来隐式地演化水平集曲线，并且使用基于像素亲和核的局部一致性模块来挖掘局部上下文和空间关系。
TPAMI 2024 | 人体运动生成：一项综述研究
小白学视觉
07-31 1525
人类动作生成旨在生成自然的人姿势序列，并展示出对现实世界应用的巨大潜力。近年来，在运动数据收集技术和生成方法方面取得了实质性进展，为人类动作生成日益增长的兴趣奠定了基础。该领域的大多数研究侧重于基于条件信号生成人类动作，例如文本、音频和场景上下文。尽管近年来取得了显著进展，但由于人类动作的复杂性质及其与条件信号的隐式关系，该任务仍然面临挑战。在这篇综述中，我们提供了人类动作生成的综合文献回顾，据我们所知，这是该领域首次此类综述。
TPAMI 2025 | CEM：使用因果效应图解释底层视觉模型
Angelina_Jolie的博客
05-26 933
本文提出了一种名为因果效应图(CEM)的新方法，用于解释底层视觉模型的内部机制。不同于传统的相关性分析，CEM基于因果推理理论，通过干预自然图像块来量化输入区域对模型输出的因果效应。该方法具有通用性，适用于超分辨率、去噪、去雨等多种底层视觉任务。研究发现：在超分辨率任务中，RCAN模型存在显著的负向效应区域；多任务训练可能削弱模型利用全局信息的能力。CEM为理解底层视觉模型提供了新视角，有助于优化模型设计和训练策略。
TPAMI 2024 | B-Cos对固有可解释的CNN和视觉Transformer的对齐
小白学视觉
07-27 1441
我们提出了一种通过在训练过程中促进权重和输入对齐来提高深度神经网络(DNN)可解释性的新方向。为此，我们提出用我们新颖的B-cos变换来替代DNN中的线性变换。正如我们所展示的，这样的变换序列(网络)会诱导出一个单一的线性变换，能够忠实地总结整个模型的计算。此外，B-cos变换被设计为在优化过程中使权重与相关信号对齐。因此，这些诱导出的线性变换变得高度可解释，并突显任务相关的特征。
TPAMI 2024 | CrossFormer++: 基于跨尺度注意力的多功能视觉Transformer
小白学视觉
07-05 2382
虽然不同尺度的特征在视觉输入中具有感知重要性，但现有的视觉Transformer尚未显式利用这些特征。为此，我们首先提出了一种跨尺度视觉Transformer，即CrossFormer。它引入了跨尺度嵌入层（CEL）和长短距离注意力（LSDA）。一方面，CEL将每个标记与不同尺度的多个补丁混合，为自注意力模块本身提供跨尺度特征。另一方面，LSDA将自注意力模块分为短距离和长距离部分，这不仅减少了计算负担，还保留了标记中的小尺度和大尺度特征。
TPAMI 2024 | TokenCut：使用自监督 Transformer 和正则化剪切对图像和视频中的对象进行分割
10-17 1181
本文介绍了 TokenCut，这是一种统一且有效的图像和视频对象分割方法，无需监督学习。TokenCut 使用自监督 Transformer 的特征来构建一个图，其中节点是块，边缘表示块之间的相似性。对于视频，结合光流来确定移动物体。我们表明，可以使用 Normalized Cut 算法直接检测和界定显着对象。我们在无监督单对象发现、无监督显着性检测和无监督视频对象分割上评估了这种方法，表明 TokenCut 可以提供比以前的方法显着的改进。
TPAMI 2024 | DeepNet: 将Transformer扩展到1000层
小白学视觉
11-10 134
— 在本文中，我们提出了一种简单而有效的方法来稳定极深的Transformer。具体来说，我们引入了一种新的归一化函数（DEEPNORM），用于修改Transformer中的残差连接，并伴随着理论上推导出的初始化。深入的理论分析表明，模型更新可以以稳定的方式被限制。所提出的方法结合了Post-LN的良好性能和Pre-LN的稳定训练这两个最佳方面，使DEEPNORM成为首选的替代方案。
TPAMI 2024 | SMPLer: 驾驭Transformer 用于单目 3D 人体形状和姿态估计
小白学视觉
06-08 341
作者：Xiangyu Xu; Lijuan Liu; Shuicheng Yan神经辐射场（NeRF）在新视图合成方面表现出了巨大的成功。然而，由于潜在的校准信息不完善和场景表示不准确，现有的基于 NeRF 的方法在从现实世界场景中恢复高质量细节方面仍然面临挑战。即使使用高质量的训练帧，NeRF 模型生成的合成新视图仍然存在明显的渲染伪影，如噪声和模糊。为了解决这个问题，我们提出了 NeRFLiX，一种学习降解驱动的视点间混合器的通用 NeRF-无关恢复范式。特别地，我们设计了一种 NeRF 样式的降解建模
TPAMI 2024 | AdaPoinTr：采用自适应几何感知Transformer的多样化点云补全
小白学视觉
10-22 735
在本文中，我们提出了一种名为 PoinTr 的 Transformer 编码器-解码器架构，该架构将点云补全问题重新定义为集合到集合的翻译问题，并采用几何感知块来显式建模局部几何关系。Transformer 的迁移使我们的模型能够更好地学习结构知识并保留点云补全过程中的详细信息。为了解决更复杂和多样化的情况，我们进一步提出了 AdaPoinTr，通过开发自适应查询生成机制和设计一种新颖的去噪任务来完成点云。
[Linux]学习笔记系列 -- [block][\bdev]
wdfk_prog的博客https://github.com/wdfk-prog/linux-study
08-14 546
本文介绍了Linux内核中块设备相关的关键代码实现。首先展示了bdev_inode结构体及其转换宏BDEV_I，用于连接块设备与VFS inode。其次说明了bdev_cache_init函数，它初始化块设备缓存，创建专用伪文件系统。最后分析了copy_io函数，处理进程克隆时的I/O上下文共享逻辑，根据CLONE_IO标志决定是否共享父进程的I/O优先级设置。这些机制共同构成了Linux内核块设备管理的基础设施。
C++ 学习与 CLion 使用：（二）using namespace std 语句详解，以及 std 空间的标识符罗列
qq_51409113的博客
08-12 913
详细解释了 using namespace std 语句，并且尽可能地罗列了所有的 std 标识符
【Datawhale夏令营】多模态RAG学习
米吉米粒的专栏
08-12 1010
本文介绍了一个基于多模态检索增强生成（Multimodal RAG）的智能问答系统构建方案。该系统旨在处理PDF文档中的图文信息，通过PyMuPDF解析文本并构建知识库，采用向量检索与LLM生成相结合的问答流程。Baseline方案包含PDF解析、文本分块、向量化存储和检索生成等模块。通过提示词优化、输出格式标准化和温度参数调整等改进措施，系统评分从0.00346提升至0.1611。未来可优化分块策略、升级解析方案并加强多模态融合，以进一步提升系统性能。
VUE3 学习笔记2 computed、watch、生命周期、hooks、其他组合式API
最新发布
mashirokayo的博客
08-15 776
在vue3中，虽然也能写vue2的computed，但还是更推荐使用vue3语法的computed。computed是一个函数。它的参数接收一个函数，这个函数可以是普通函数，也可以是箭头函数，由于vue3中没有this，所以无需关注函数类型对this指向的影响。这个函数就是计算的方法函数。但是通过这种方式定义的计算属性，是只读的，无法对属性进行修改。如果计算属性同时需要读取和修改，要通过下面这种形式：传入computed的参数是一个对象，在对象中配置get和set。
Mybatis学习笔记(十)
xfzldxfz的博客
08-14 452
通过实际的业务场景案例，展示MyBatis-Plus在真实项目中的应用，包括完整的代码实现和最佳实践。
自由学习记录（82）
red_redemption的博客
08-13 891
文章摘要： 本文详细介绍了Bitonic排序算法的实现，包括其递归分治结构、位元合并操作以及数组补齐处理。算法通过将输入数组补全为2的幂次长度，执行递归排序和合并操作，最后裁切结果。文章还探讨了GPU动画烘焙技术，将骨骼动画预计算为顶点序列缓冲区，实现实例化共享动画数据。同时介绍了力场影响器系统，通过ComputeBuffer传递位置/力参数来操控群体行为，并提供了性能优化建议，如内存对齐、缓冲区管理和渲染时序控制。在渲染管线部分，对比了VFX Graph与传统粒子系统的差异，阐述了URP中自定义渲染通道的
若依前后端分离版学习笔记（九）——登录和操作日志
weixin_55549435的博客
08-13 996
若依前后端分离版学习笔记（九）——登录和操作日志
TPAMI2013低秩表示代码：机器学习与计算机视觉工具
标题“低秩表示代码”和描述“TPAMI2013LRR低秩表示和子空间聚类算法代码，亲测可用”指向了一种特定的机器学习算法以及对应实现的代码资源。低秩表示是现代计算机视觉和机器学习中的一个重要概念，特别是在数据的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值