Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

资讯1年前 (2023)发布 AI助理
1,600 0 0

Runway的Gen-1还没内测完,Gen-2就以迅雷不及掩耳之势发布了。

宣传词也是非常炸裂——「say it,see it」,只要你说得出来,它就能给你做出来。科幻小说里的超能力成真了!

可以说,有了Runway Gen-2,你就能用任意的图像、视频或文本,生成一段酷炫大片,想要啥风格,就有啥风格。

 

比如用几个包装盒,Gen-1就可以生成一个工厂的视频,化腐朽为神奇,就是这么简单。
Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

 

Gen-2的八大「魔法」

Mode 01:Text to Video(文字生成视频)

一个文本提示,就能合成出任意风格的视频,不怕它生不出来,只怕你想不到。

 

提示:

在纽约市的一间阁楼里,傍晚的阳光透过窗户温柔地洒进屋内。

输出:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

 

Mode 02:Text + Image to Video(文字+图像生成视频)

输入一幅图,再加一句prompt,直接就给你变成了视频。

输入图像:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

驱动提示:

在一个低角度拍摄的画面中,男子正沿着街道行走,周围酒吧的霓虹灯照亮了他的身影。

输出:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

Mode 03:Image to Video(图像生成视频)

这个不用解释了,你给它一张图片,它给你秒变一段视频。多种风格,随你选择。
美图一秒变电影,这也太梦幻了吧。

输入图像:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

输出:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

Mode 04:Stylization(风格化)

如果你有一段原视频,但是效果不够炸裂,怎么办?
只需要把你想要叠加的风格用图片或者文字叠加上去,多魔幻的风格都立马生成,秒变好莱坞大片。

原始视频:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

驱动图像:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

输出:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

 

Mode 05:Storyboard(故事版)

将模拟的场景一拉,就变成了风格化和动画化的渲染图,前期制作一键简化。

输出&输出对比:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

 

Mode 06:Mask(掩码)

在你的视频中分离出特定的对象,然后通过prompt,想怎么改就怎么改,比如下图中,金毛秒变斑点狗。

输入视频:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

驱动提示:

一只身上有黑色斑点的白毛狗。

输出:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

 

Mode 07:Render(渲染)

只要输入图像或提示,无纹理的渲染立马变成现实的输出,深度和真实感震撼人心。

输入视频:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

 

输出:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

Mode 08:Customization(个性化)

通过自定义,让原视频个性化大变身,保真度还超高。
点击就看外国小哥秒变海龟人。

输入&输出对比:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!

训练图像:

Gen-2震撼发布,文本一键生成大电影,导演颤抖了!
从生成结果来看,Gen-2的前景,实在是太令人着迷了。(Gen-1的内测申请在这里,http://t.cn/A6Cu1cdy)。
虽然Meta和谷歌也有类似的文本到视频模型(Make-a-Video和Phenaki),生成的剪辑更长、更连贯。
但这些体量更大的公司并没有投入多大的资源,相比之下,Runway的团队只有区区45人。
其实,Runway自2018年以来,就一直专注于研究AI工具,并在去年年底筹集了5000万美元。
有趣的是,Stable Diffusion的初始版本,就有Runway的贡献。只不过后来被Stability AI普及,并有了更进一步的发展。
而这也告诉我们,初创公司在生成式AI上的潜力,是多么惊人。

原文转载自:https://baijiahao.baidu.com/s?id=1760960456265238406&wfr=spider&for=pc

© 版权声明

相关文章

分享