可在手机终端部署,人大等提出全新人物图片保护模型RID

B站影视 2024-12-28 20:17 1

摘要:RID 的作者来自于中国人民大学和 Sea AI Lab。第一作者为香港大学在读博士生郭瀚中,该工作为其硕士期间完成,其研究方向为扩散模型。本文由中国人民大学孙浩教授和李崇轩教授共同指导,其他作者包括中国人民大学博士生聂燊和 Sea AI Lab 研究员庞天宇

RID 的作者来自于中国人民大学和 Sea AI Lab。第一作者为香港大学在读博士生郭瀚中,该工作为其硕士期间完成,其研究方向为扩散模型。本文由中国人民大学孙浩教授和李崇轩教授共同指导,其他作者包括中国人民大学博士生聂燊和 Sea AI Lab 研究员庞天宇和杜超。近年来许多论文研究了基于扩散模型的定制化生成,即通过给定一张或几张某个概念的图片,通过定制化学习让模型记住这个概念,并能够生成这个概念的新视角、新场景图片。但是当有用户恶意使用定制化生成技术,例如利用发布在社交平台的照片生成假照片,会对用户的隐私权造成威胁。一些研究通过对原始图片加扰动的方式来保护图片不被定制化学习,而由于这些研究都是通过梯度上升的方式去优化对应的扰动,因此瓶颈在于计算时间和计算开销上,为了给一个图片添加保护的扰动,需要花费几分钟甚至几十分钟,并且需要较大的显存消耗。本文中,中国人民大学和 Sea AI Lab 联名提出名为 RID 的全新人物图片保护模型,通过一个提前训练的小网络实现输入图片输出扰动的方式,在 RID 范式下,图片的防定制化保护只需要几十毫秒并且可以在用户手机终端部署。思考和展望目前基于 SD 系列集成训练的 RID 展现出来了鲁棒的保护能力,但目前主流开源的还有许多 DiT 架构的扩散模型,因此未来如何将 DiT 架构的扩散模型融合进 Adv-SDS 一起优化实现更鲁棒的保护效果值得探索。此外,目前 RID 的扰动仍然是随机优化的扰动,未来能否设计一种具有良性作用的扰动,例如将扰动设计为妆照,也是值得更深入的研究。© THE END转载请联系本公众号获得授权投稿或寻求报道:liyazhou@jiqizhixin.com

来源:小向科技园地

相关推荐