qq_34717531的博客

然后，进一步提出了三种新的模态，以丰富模态之间的互补信息。最后，为了在引入新模态时保持效率，提出了一种新颖的师生框架，将次要模态中的知识蒸馏到强制模态中，考虑到锚点、正样本和负样本之间的关系约束，命名为关系跨模态知识蒸馏。现有的大部分工作都是基于骨骼数据，并使用多模态设置。然而，这些工作忽视了不同模态之间性能差异，导致了错误知识在模态之间的传播。此外，现有工作只使用了三种基本模态，即关节、骨骼和动作，没有探索其他额外的模态。5）结果：实验结果证明了所提出方法的有效性，实现了基于骨骼的多模态数据的高效利用。

4）方法：本文出了一个简单而有效的方法，首先使用被遮挡的骨架序列进行预训练，然后在序列嵌入上使用k均值聚类（KMeans）将语义上相似的样本分组。接下来，利用K最近邻（KNN）根据最接近的样本邻居填补缺失的骨架数据。此外，在基于最先进的部分时空学习（PSTL）的基础上，引入了遮挡部分时空学习（OPSTL）框架，该增强使用自适应空间掩蔽（ASM）更好地利用高质量完整的骨架。3）背景：目前，现有的基于骨架的自监督动作识别方法很少考虑涉及目标遮挡的情况，尽管这种情况在实际应用中具有重要意义。

为了减轻不准确的骨架关联对结果的负面影响，SkeleTR将相对较短的骨架序列作为输入，并增加了序列的数量。作为一个统一的解决方案，SkeleTR可以直接应用于多个基于骨架的动作任务，包括视频级别的动作分类、实例级别的动作检测以及群体级别的活动识别。3）背景：现有的骨架动作识别工作主要集中在受控环境下，本文针对更一般的场景，这些场景通常涉及不同数量的人和人与人之间的各种形式的互动。5）结果：在各种基于骨架的动作识别基准测试中，SkeleTR取得了最先进的性能，证明了其在处理多种动作识别任务时的优越性。