让人工智能视频中的任何主题保持一致!就在刚才,每个人都能轻松地做到。
而且只需要一张图片,就可以实现。
——上面的每一个马斯克视频都来自同一张照片。
想玩的话,只需要使用清华系AI视频玩家生数技术旗下Vidu的最新功能,主体参照(Subject Consistency)。
该功能可以实现任何主题的一致性生成,使视频生成更加稳定和可控。
“现在生成人工智能视频内容,想要做到‘言出法随’其实还是很难的,不确定性让视频内容对镜子、光效等的精细控制还是要不断抽卡。”唐家渝生数科技CEO表示,“角色一致性只能保持人脸一致,而主体参考可以保持主体整体造型一致,给人更大的创作空间。”
这是继今年7月全球用户推出文生视频和图生视频能力(单视频最长生成8s)之后的再次更新。
新功能仍然非常友好:
面向用户免费开放,注册即可体验。
实现主体可控的只需一张图片
让我们来看看Vidu是如何定义这个新功能的。
主体参考:允许用户上传任何主体的图片,然后Vidu足够锁定主体图像,通过描述单词切换场景输出相同主体的视频。
划重点:任意主体。
也就是说,无论是人还是动物,无论是真人、动画形象还是虚构主体,无论是家具还是商品,都可以通过这个功能在视频生成中实现一致性和可控性。
目前,在所有大型视频模型中,只有Vidu率先支持这种玩法。
不要只说不练,我们来看看真实的效果。
人物主体
让我们先来看看以人物为主体。
上传一张87版《红楼梦》林妹妹的定妆照:
以林妹妹为主体,利用主体参考功能,生成两段视频。
突然,林妹妹上台演讲:
转眼间,姐姐已经坐在星爸爸喝咖啡:
当然啦,真人可以作为生成视频的主要参考,虚拟人物/动画人物也可以。
例如输入一个漫画女孩:
生成视频的效果是酱紫:
这里附上一些官方给出的小提示:
如需保持主脸一致,则需要保持主脸一致,只需截取单个主体的清晰面容图
如果需要保持主体半身一致,则需要保持主体半身一致(面容 上身服饰),只需截取单一主体清晰的半身图即可
如果需要保持主体全身一致,则需要保持主体全身一致(全身特征),只需截取单个主体清晰的全身图即可
动物主体
谁能不爱可爱的狗!
如果你把这张照片扔给Vidu,你可以让狗走在草地上,一步一步靠近你。
镜头后拉和主体运动范围表现良好。
商品主体
将商品作为需要参考的主体,在生成的视频中,商品的外观和细节可以在不同于图片的场景中保持一致。
如下:
沙发所在的场景,说变就变。
上面还可以睡一个盖着毯子的小女孩,遮住沙发的原始部分。
需要注意的是,当前版本只支持单一主体的可控性。
如果上传的图片中有多个人物/物体,则需要选择单个主体进行生成。
Be Like:
不再“两步走”了
无论是制作短片、动画作品还是广告片,“主体、场景、风格、风格”都是共同的追求。
因此,人工智能视频生成内容要想有叙事效果,就需要不断向三个一致的方面靠拢。
特别是在实际情况下,实际的视频创作,内容往往围绕特定的对象展开——这往往是视频生成中最容易变形和崩溃的一点,尤其是在复杂动作和交互的情况下。
挠头,脑阔痛。
行业首先想到的方法就是先人工智能生图,再图生视频。
说人话,就是用Midjourney、SD什么的,生成镜头图片,让每张图片的主体保持一致,然后进行图片生成视频,最后拼接和编辑每个视频片段。
但一听就发现,这样做,无论是保持人工智能绘图的一致性,还是后期拼拼剪切,工作量都很大。
生数Vidu“主体参照”与这种想法不同的是,不再两步走。
而是通过“上传主体图 输入场景描述词”直接生成视频素材的方式。
最后,我们将澄清和区分三个概念:
图生视频(Image to Video)
角色一致性(Character to Video)
主体参照(Subject Consistency)
图生视频基本上是现在AI视频生成的基操。
它将输入的图片作为视频的第一帧,然后根据第一帧的连续生成。
bug不能直接输出目标场景,限制了视频内容的多样性和场景的自由。
角色一致性,主要集中在人物形象上起作用。
它可以保证动态视频中人物的面部特征一致,但一般来说,“一致性”只关心脸,不管整体形象如何。
主体参照,面向任何主体。
同时,面对人物主体时,可以选择保持面部一致,也可以选择保持人物整体形象的高度一致。
最后附上生数科技视频试玩链接,感兴趣的朋友可趁排队人不多,赶快冲一波!
毕竟,免费的是香,对吧?(doge)。
体验直通车:www.vidu.studio
责任编辑:落木
文章内容报告
还没有评论,来说两句吧...