PS打工人即将失业?分割一切(SAM)VS图像修补(IA):无需精细标记,单击物体实现物体移除

资讯1年前 (2023)更新 花花
470 0 0
AI技术遇上你的创意,会碰撞出怎样的火花?国内历史最久GC品牌诚邀你揭晓答案
PS打工人即将失业?分割一切(SAM)VS图像修补(IA):无需精细标记,单击物体实现物体移除

a camera lens in the hand

「填充一切」步骤如下:

  • 第 1 步:用户点击想要移除的物体;
  • 第 2 步:SAM 将该物体分割出来;
  • 第 3 步:用户通过文本示意想要填充的内容;
  • 第 4 步:基于文本提示的图像修补模型(Stable Diffusion)根据用户提供的文本对物体进行填充。

实验结果:

PS打工人即将失业?分割一切(SAM)VS图像修补(IA):无需精细标记,单击物体实现物体移除

文本提示:a Picasso painting on the wall

PS打工人即将失业?分割一切(SAM)VS图像修补(IA):无需精细标记,单击物体实现物体移除

文本提示:a sports car on a road

替换一切场景(Replace Anything)

「填补一切」步骤如下:

  • 第 1 步:用户点击想要移除的物体;
  • 第 2 步:SAM 将该物体分割出来;
  • 第 3 步:用户通过文本示意想要替换的背景;
  • 第 4 步:基于文本提示的图像修补模型(Stable Diffusion)根据用户提供的文本对物体的背景进行替换。
    PS打工人即将失业?分割一切(SAM)VS图像修补(IA):无需精细标记,单击物体实现物体移除

    图中使用的文本提示:a man in office

    PS打工人即将失业?分割一切(SAM)VS图像修补(IA):无需精细标记,单击物体实现物体移除

    文本提示:sit on the swing

    PS打工人即将失业?分割一切(SAM)VS图像修补(IA):无需精细标记,单击物体实现物体移除

    a bus, on the center of a country road, summer

总结

研究者建立这样一个有趣的项目,来展示充分利用现有大型人工智能模型所能获得的强大能力,并揭示「可组合人工智能」(Composable AI)的无限潜力。项目所提出的 Inpaint Anything (IA) 是一种多功能的图像修补系统,融合了物体移除、内容填补、场景替换等功能(更多的功能正在路上敬请期待)。

 

IA 结合了多种视觉基础模型,实现了对用户操作友好的无掩码化图像修复,并可以处理具有任意长宽比和 2K 高清分辨率的图像,且不受图像原始内容限制。

该项目已经完全开源,未来研究者将进一步挖掘 IA 的潜力以支持更多实用的新功能,并将其应用到更多现实应用中。这项成果为图像修补技术的发展提供了新思路,为相关领域的研究和应用带来了新的希望。

 

相关文章推荐:

全球首款SEEM视频/图像分割神器,一键分割

© 版权声明

相关文章

分享