【CVPR2025】计算机视觉|TrainProVe：你的模型用了我的数据？！-CSDN博客

论文地址：http://arxiv.org/pdf/2503.09122v1
代码地址：https://github.com/xieyc99/TrainProVe

关注UP CV缝合怪，分享最计算机视觉新即插即用模块，并提供配套的论文资料与代码。
https://space.bilibili.com/473764881

摘要

高质量的开源文生图模型大大降低了获取逼真图像的门槛，但也面临着潜在的滥用风险。具体来说，当缺乏真实数据资源时，嫌疑人可能会在未经许可的情况下使用这些生成模型生成的合成数据来训练特定任务的模型。保护这些生成模型对其所有者的福祉至关重要。本研究提出了第一个解决这一重要但尚未解决的问题的方法，称为训练数据来源验证（TrainProVe）。TrainProVe 的基本原理基于泛化误差界的原理，该原理表明，对于具有相同任务的两个模型，如果它们的训练数据分布之间的距离越小，它们的泛化能力就越接近。本研究在四个文生图模型（Stable Diffusion v1.4、潜在一致性模型、PixArt-α 和 Stable Cascade）上验证了 TrainProVe 的有效性。结果表明，TrainProVe 在确定可疑模型训练数据的来源方面达到了超过 99% 的验证准确率，超过了所有以前的方法。

引言

开源文生图模型的知识产权保护：针对特定任务训练的挑战与解决方案

本研究关注高质量开源文生图模型的知识产权保护问题，特别是在模型被用于未经授权的特定任务训练的情况下。开源文生图模型，例如基于扩散模型的模型，极大地降低了获取逼真图像的门槛，促进了个性化定制和创作的普及。然而，大多数开源模型仅限于学术或教育用途，未经明确许可禁止商业用途。因此，保护这些生成模型的知识产权至关重要。

本研究指出，目前这些生成模型面临的一个主要安全挑战是非法使用其生成的合成数据。这种滥用行为主要分为三种情况：

嫌疑人非法窃取合成数据并将其声称为自己的作品，直接侵犯了生成模型的知识产权；
嫌疑人窃取合成数据并使用知识蒸馏技术训练另一个同任务生成模型，使得防御者难以追踪被盗数据；
嫌疑人窃取合成数据用于训练特定任务模型，例如图像分类模型，这使得防御者不仅无法获知可疑模型的训练数据，也无法直接比较生成模型和可疑模型之间的相似性，因为它们的任务不同。

本研究发现，针对前两种情况，例如添加水印和训练数据溯源等现有方法可以有效地识别非法活动。然而，对于第三种情况，目前尚无有效的解决方案。尽管近年来人们逐渐认识到使用合成数据训练其他任务模型的潜力，尤其是在降低数据收集成本方面，但相关的安全风险却被忽视了。适用于前两种情况的方法无法应用于第三种情况，因为可疑模型的学习任务并非一定是图像生成。例如，对于可疑的图像分类模型，防御者无法获得可用于检查的合成数据。

本研究致力于解决这一重要且尚未探索的知识产权保护问题，并提出了第一个用于此类场景的保护方法，称为训练数据来源验证（TrainProVe）。该方法旨在帮助防御者验证可疑模型是否使用了其生成模型的合成数据进行训练。考虑到可疑模型可能未经授权使用合成数据进行训练并用于商业目的，本研究重点关注黑盒设置，即防御者无法获得可疑模型的训练配置信息（例如损失函数、模型架构等），只能通过机器学习即服务（MLaaS）访问模型，仅能通过可疑模型的API获取预测结果（例如预测logits或标签）。

TrainProVe 的基本原理基于泛化误差界的原则，该原则表明，对于具有相同任务的两个模型，如果它们的训练数据分布距离越小，它们的泛化能力就越接近。具体而言，防御者可以训练一个与可疑模型相同任务的模型，使用其生成模型生成的合成数据。通过比较这两个模型的性能，防御者可以判断可疑模型是否在其生成模型的合成数据上进行了训练。更具体地说，TrainProVe 包括三个步骤：

使用防御者的生成模型和不同的文本提示，根据可疑模型的任务生成影子数据集和验证数据集；
使用影子数据集训练与可疑模型相同任务的影子模型；
对可疑模型和影子模型在验证数据集上的预测准确率进行假设检验，以确定可疑模型是否使用了防御者的生成模型的合成数据进行训练。

论文创新点

🚀 本研究提出了一个名为训练数据溯源验证（TrainProVe）的方法，用于验证可疑模型的训练数据是否来自特定的文本到图像生成模型。 🚀

✨ 关注全新安全问题： ✨
- 本研究的第一个创新点在于关注了一个新的安全问题，即如何保护文本到图像生成模型的知识产权，防止其生成的合成数据被未经授权地用于训练其他模型。
- 这个问题在现有研究中未被充分探讨，而本研究是第一个尝试解决这个问题的工作。
🔗 发现模型相似性与训练数据源的关联： 🔗
- 第二个创新点是发现了不同模型之间的相似性与其训练数据源的领域密切相关，并基于这一发现提出了训练数据溯源验证技术。
- 本研究利用泛化误差界的原理，指出如果两个模型执行相同的任务，并且它们的训练数据分布距离越近，则它们的泛化能力也越接近。
🛠️ TrainProVe方法的三步设计： 🛠️
- 第三个创新点在于TrainProVe方法的设计。该方法通过三个步骤来验证可疑模型的训练数据来源：
  - (1) 使用防御者的生成模型和不同的文本提示生成影子数据集和验证数据集；
  - (2) 使用影子数据集训练一个与可疑模型执行相同任务的影子模型；
  - (3) 对可疑模型和影子模型在验证数据集上的预测准确率进行假设检验，以确定可疑模型是否使用了防御者生成模型的合成数据进行训练。
🕶️ 黑盒场景下的实用性： 🕶️
- 第四个创新点在于本研究关注黑盒场景，即防御者无法获得可疑模型的训练配置信息，只能通过机器学习即服务（MLaaS）访问模型并获取预测结果。
- 这种黑盒设置更贴近于实际应用场景，增加了验证任务的难度，也突显了TrainProVe方法的实用性。
📊 广泛实验验证及高准确率： 📊
- 第五个创新点在于本研究进行了广泛的实验，验证了TrainProVe方法在不同文本到图像模型和数据集上的有效性。
- 实验结果表明，TrainProVe在确定可疑模型训练数据的来源方面，准确率超过99%，优于所有现有方法。
- 本研究还进行了对抗性实验，例如可疑模型使用多个数据源或对生成模型进行微调等，结果表明TrainProVe在这些更具挑战性的场景下依然有效。