Adobe即将推出的基于生成式AI的文本转视频工具 Adob

Adobe即将推出的基于生成式AI的文本转视频工具 Adobe即将推出AI视频工具Firefly，革新电影编辑流程， 

Adobe即将推出的基于生成式AI的文本转视频工具

（爱云资讯消息）Adobe预先展示了一些即将推出的生成式AI视频工具，其中包括一个新功能，可以从静止图像中生成视频片段。这一最新预览是在软件巨头在4月份展示的正在开发的Firefly视频模型的基础上构建的，该模型将为Adobe Creative Cloud应用程序中的AI视频和音频编辑功能提供算力。

新的宣传预告展示了Firefly的文本到视频功能生成的视频片段，这是Adobe公司今年早些时候宣布的功能。该工具允许用户使用文本描述生成视频片段，并使用各种摄像机控制选项来模拟不同的摄像角度、运动和拍摄距离，以调整生成的视频片段。Firefly视频模型还展示了从特定参考图像生成视频片段的功能。Adobe公司表示，这一功能可能对制作额外的B-roll镜头或填补生产时间表中的空缺有所帮助。

如果根据示例视频来判断最终发布的效果，那么生成的视频质量与我们目前从OpenAI的Sora模型中看到的质量相当，Adobe也在将其作为Premiere Pro视频软件的第三方集成进行探索。不过，Adobe的生成式AI副总裁Alexandru Costin告诉外媒，由文本转视频和图像转视频功能生成的视频最长只有5秒。

Adobe自己的模型可能在与Sora的竞争中有一个优势，那就是Firefly由于是在公开许可、公共领域和Adobe Stock内容上进行训练的，因此被承诺是商业安全的，这可能有助于减少一些关于版权问题的困扰。

文字转视频和图像转视频功能将在今年晚些时候以独立Firefly应用程序的形式推出测试版。Adobe表示，新的Firefly视频模型最终将整合到其Creative Cloud、Experience Cloud和Adobe Express应用程序中。

Adobe还展示了一些即将推出的Premiere Pro生成扩展功能的额外片段，该功能可以像Photoshop的Generative Expand工具扩展图像背景一样扩展现有视频片段。Adobe表示，该功能也将在今年晚些时候的某个时候发布。

发布于：北京


Adobe即将推出AI视频工具Firefly，革新电影编辑流程

来源：环球网

【环球网科技综合报道】9月12日，据科技媒体engadget消息，Adobe公司近日宣布，将于今年晚些时候推出其最新的AI视频工具——Firefly。这一创新工具旨在通过强大的快捷方式，帮助电影编辑者轻松地从文本、静止图像和现有视频中创建高质量的AI剪辑。

Firefly系列工具包括文本转视频、Generative Extend以及图像转视频等AI功能，它们将作为Adobe Premiere Pro的补充技术，为视频编辑者提供前所未有的便捷。借助这些工具，编辑者能够轻松完成诸如在镜头间隙中导航、移除场景中不需要的对象、平滑跳跃切换以及搜索完美B-roll等任务，从而节省大量时间并专注于创意探索。

其中，Firefly Text-to-Video功能允许用户根据文本提示创建AI生成的视频，同时提供摄像机角度、动作和缩放的控制工具。这一功能能够填补时间轴上的镜头空白，甚至将静态参考图像转换为逼真的AI视频。Adobe表示，其视频模型在自然世界的视频表现方面尤为出色，有助于即时创建定场镜头或B-roll，降低制作成本。

Adobe

在宣传视频中，Adobe展示了多个令人印象深刻的示例。通过详细的文字提示，Firefly能够生成火山喷发的定场镜头、野花丛中放松的狗以及迷你羊毛怪物的舞会等场景。这些高质量的输出证明了该工具在电视、电影和商业制作中的巨大潜力。

此外，Adobe的图像转视频功能也备受瞩目。该功能始于上传的图像，通过文本提示将其转换为生动的视频。在演示中，一对走过森林小溪的情侣场景被AI生成的片段完美填补，展示了该工具在镜头空白填补方面的卓越能力。

值得注意的是，Adobe强调其Firefly视频模型在设计上是安全的，并且只使用公司有权使用的内容进行训练。该公司表示，其生成式AI模型仅在Adobe Stock数据库上进行训练，该数据库包含4亿张经过精心挑选的图片、插图和视频，不包含知识产权、商标或可识别的字符。同时，Adobe也明确表示，从未使用用户的作品进行训练。

据悉，Adobe的Firefly视频模型将于今年晚些时候推出测试版。[db:内容]