人工智能不会取代人类,但它会改变我们的生活方式和思考方式,学会利用人工智能会让我们的工作和学习效率提高百倍。
今日,Sora全网刷屏,Open AI再一次掀起了一场全球性的轰动,引起了广泛关注和热议。
一、Sora的基本介绍
2024年2月16日,Open AI宣布推出全新的生成式人工智能模型"Sora"。据悉,Sora能够根据文本指令直接生成长达60秒的视频内容,其中包括精细的背景细节、复杂多角度的镜头设置,以及富有情感的多个角色表现。这一创新意味着,OpenAI将其先进的人工智能技术扩展到了视频领域,进一步丰富了其技术应用范围,不再局限于文本和图像。Open AI同时表示,Sora是理解和模拟现实世界的基础模型,这一能力被认为是实现通用人工智能(AGI)的重要里程碑。尽管业内对于OpenAI视频生成模型的出现已有预期,但仍有人对其速度表示惊讶,并有人兴奋地指出"我们真的看到了新工业革命的来临"。
Sora 官方网址:https://openai.com/sora
二、SORA的八大功能
1. 文生视频 SORA能够所通过提供的文本提示词,自动理解并扩展提示词,从而生成一分钟的视频。
2. 图生视频 通过提供参考图,SORA可以根据这些图像生成一分钟的视频,以参考图为核心内容。
3. 视频生成视频 提供参考视频,SORA会根据这些视频以及用户提供的特定风格文本提示词,自动生成一分钟的视频。用户可以更改视频风格和背景环境,实现在不同场景中的创意。
4. 时间层面扩展视频 SORA能够根据提供的参考视频,在时间层面上向前或向后扩展视频。这意味着人工智能可以猜测出视频的过去和未来,扩展视频的时间维度。
5. 视频拼接 用户提供多个不同内容或风格的参考视频,SORA能够将这些完全不同主题或场景的视频无缝拼接成一个完整的一分钟视频。
6. 3D一致性 SORA能够生成带有动态摄像机运动的视频,确保人和场景元素在三维空间中移动时保持一致性。相较于其他AI生成视频软件,SORA的动态摄像机移动是基于3D世界,保持高度的一致性。
7. 长时间主体一致性 SORA能够在整个视频中保持主体的外观一致性,即使在切换画面镜头或主体离开画面再回到画面中的情况下。这一功能超越了其他AI生成视频软件在主体外观一致性方面的局限性,使其在生成相对较长的视频时更为优越。
8. 模拟真实世界交互 SORA通过简单方式模拟真实世界的物理交互,如画家在画布上留下每一步的笔触或一个人吃汉堡并留下咬痕。尽管在某些方面存在局限性,无法完全准确地模拟某些真实世界的物理过程,例如玻璃破碎、投篮等,但它致力于尽可能地模拟真实世界的基本相互作用,使得生成的视频更加真实和富有创意。
三、Sora 的 6 大优势
《每日经济新闻》记者经过对官方技术报告的梳理,总结出了 Sora 的 6 大优势:
(1)准确性和多样性:Sora 的显著特征之一是能够准确解释长达 135 个单词的长提示。它可以准确地解释用户提供的文本输入,并生成具有各种场景和人物的高质量视频剪辑。这一新工具可将简短的文本描述转化成长达 1 分钟的高清视频。它涵盖了广泛的主题,从人物和动物到郁郁葱葱的风景、城市场景、花园,甚至是水下的纽约市,可根据用户的要求提供多样化的内容。
(2)强大的语言理解:OpenAI 利用 Dall-E 模型的 re-captioning(重述要点)技术,生成视觉训练数据的描述性字幕,不仅能提高文本的准确性,还能提升视频的整体质量。此外,与 DALL·E 3 类似,OpenAI 还利用 GPT 技术将简短的用户提示转换为更长的详细转译,并将其发送到视频模型。这使 Sora 能够精确地按照用户提示生成高质量的视频。
(3)以图/视频生成视频:Sora 除了可以将文本转化为视频,还能接受其他类型的输入提示,如已经存在的图像或视频。这使 Sora 能够执行广泛的图像和视频编辑任务,如创建完美的循环视频、将静态图像转化为动画、向前或向后扩展视频等。OpenAI 在报告中展示了基于 DALL·E 2 和 DALL·E 3 的图像生成的 demo 视频。这不仅证明了 Sora 的强大功能,还展示了它在图像和视频编辑领域的无限潜力。
(4)视频扩展功能:由于可接受多样化的输入提示,用户可以根据图像创建视频或补充现有视频。作为基于 Transformer 的扩散模型,Sora 还能沿时间线向前或向后扩展视频。从 OpenAI 提供的 4 个 demo 视频看,都从同一个视频片段开始,向时间线的过去进行延伸。因此,尽管开头不同,但视频结局都是相同的。
(5)优异的设备适配性:Sora 具备出色的采样能力,从宽屏的 1920x1080p 到竖屏的 1080x1920,两者之间的任何视频尺寸都能轻松应对。这意味着 Sora 能够为各种设备生成与其原始尺寸完美匹配的内容。而在生成高分辨率内容之前,Sora 还能以小尺寸迅速创建内容原型。
(6)场景和物体的一致性和连续性:Sora 可以生成带有动态视角变化的视频,人物和场景元素在三维空间中的移动会显得更加自然。Sora 能够很好地处理遮挡问题。现有模型的一个问题是,当物体离开视野时,它们可能无法对其进行追踪。而通过一次性提供多帧预测,Sora 可确保画面主体即使暂时离开视野也能保持不变。
四、Sora可能带来的影响
1. 演员行业可能面临挑战,因为出现了没有实际演员的影视作品,从而诞生了真正的“虚拟偶像”。
2. 将有利于编剧行业,因为剧本和文本创作将成为核心竞争力。
3. OpenAI将进一步扩大领先优势,对于许多仍在进行大型模型测试和评分竞争的公司来说,这将带来压力。
5. 影视行业将收到影响,尤其是特效行业。利用AI制作特效和高风险镜头可以大幅降低拍摄成本,也可以避免许多危险。
6. 摄影师行业也会受到影响,因为使用文本生成视频可以节省大量摄影工作。
7. 随着短视频的流行,视频剪辑师成为一个热门职业。如果AI可以代替视频剪辑的工作,可能会导致许多视频剪辑师失业;对于许多短视频创作者来说,使用AI代替繁琐的剪辑工作可以大大提高工作效率。
9. 许多歌手制作MV的成本很高。如果可以使用AI生成所需的MV画面,也可以节省大量制作成本。 10. 此外,如果真正实现了文生视频,可能会有不法分子利用这项技术实施新的违法犯罪手段。 然而,从Sora官网目前展示的视频画面效果来看,效果还未达到逼真水平,短期内不太可能导致行业失业,但会有一定的辅助作用,例如制作动画片应该不成问题。
五、注册和使用
温馨提示:目前 sora 只是发布,没有对外开放使用,市面上所有售卖教程和使用名额的都是骗子,请不要相信任何账号买卖,课程培训!不要被人当做韭菜!!! 不过Open AI的CEO正在公开征集数量有限的红队创作者,你可以通过官网来申请获取Sora的内测资格。
1.申请地址:https://openai.com/form/red-teaming-network
2.按照如下截图去填写申请表,邮箱推荐 Google 邮箱,居住国家推荐选择美国
3.然后填写一段申请原因,选择擅长的语言,以及贴上自己的简历和推特地址。