设计公司网站建设,ml免费域名注册,网站做成小程序,南宁百度推广代理公司Sora 是什么#xff1f;
2024年2月16日#xff0c;OpenAI 在其官网上面正式宣布推出文本生成视频的大模型Sora 这样说吧给你一段话#xff0c; 让你写一篇800字的论文#xff0c;你的理解很可能都有偏差#xff0c;那么作为OpenAi要做文生视频到底有多难#xff0c;下面…Sora 是什么
2024年2月16日OpenAI 在其官网上面正式宣布推出文本生成视频的大模型Sora 这样说吧给你一段话 让你写一篇800字的论文你的理解很可能都有偏差那么作为OpenAi要做文生视频到底有多难下面看看主要技术难点。 https://openai.com/sora
目前 openai 官方还未对用户开放不过根据文生图模型案例 一定是先给 ChatGPT Plus 付费用户使用需要注册或者升级 GPT Plus 可以看这个教程升级教程 几分钟搞定安全可靠本人的GPT-4就是这么升级上来的
最关键的是Sora生成的视频最长时间是60s视频镜头一致性理解物理世界超逼真不变形。
Sora案例视频
Sora的应用范围非常广泛从教育教学、产品演示到内容营销等都可以通过Sora来实现高质量的视频内容创作。
下面是 OpenAI 官方发布的应用案例
官方给出的Sora 能够生成具有多个角色、特定类型的运动以及主体和背景的准确细节的复杂场景。该模型不仅了解用户在提示中提出的要求还了解这些东西在物理世界中的存在方式。
https://cdn.openai.com/sora/videos/train-window.mp4
提示词穿过东京郊区的火车车窗上的倒影。 这个视频最关键的一点就是在经过桥的时候玻璃反光透出来了对面的女孩头像这个实在是太逼真对细节的把控真的是杠杠的。
https://cdn.openai.com/sora/videos/cat-on-bed.mp4
提示词一只猫叫醒熟睡的主人要求吃早餐。主人试图忽视这只猫但猫尝试了新的策略最后主人从枕头下拿出秘密藏匿的零食让猫再呆一会儿。 Sora 在视频上的运动已经非常接近真实的运动了这就是为什么官方说Sora 可以理解物理世界中的存在方式了。 Sora 可以在单个生成的视频中创建多个镜头
我们来看这个东京街头的视频
https://cdn.openai.com/sora/videos/tokyo-in-the-snow.mp4
提示词美丽、白雪皑皑的东京城熙熙攘攘。镜头穿过熙熙攘攘的城市街道跟随几个人享受美丽的雪天并在附近的摊位购物。绚丽的樱花花瓣随着雪花随风飘扬。 Sora 的运动幅度和逼真程度都远远远超其他 AI 视频工具的运镜功能清晰度也大大提升了。这个东京街头的视频中创建了多个镜头逼真的让人无法分辨。 Sora 可以准确地保留角色一致性和视觉风格。 https://cdn.openai.com/sora/videos/snow-dogs.mp4
提示词一窝金毛幼犬在雪地里玩耍。他们的头从雪中探出来被雪覆盖着。
https://cdn.openai.com/sora/videos/robot-video-game.mp4
提示词赛博朋克背景下机器人的生活故事。 AI 视频想保持一致性风格一般都是先用 AI 绘画的种子属性画出一致性的图然后再用图生视频再用剪辑工具今天之前文生视频的画面一致性并不太理想。但是 Sora 的效果着实令人惊艳。 无论是上图的一窝小金毛还是下面这个赛博朋克机器人都保持了一致性和视觉风格看上去很自然。
Sora可优化空间
当前的模型存在弱点。它可能难以准确模拟复杂场景的物理原理并且可能无法理解因果关系的具体实例。例如一个人可能咬了一口饼干但之后饼干可能没有咬痕。该模型还可能会混淆提示的空间细节例如混淆左右并且可能难以精确描述随着时间推移发生的事件例如遵循特定的相机轨迹。
https://cdn.openai.com/sora/videos/backward-jogger.mp4
提示词打印一个人跑步的场景35 毫米电影胶片。 弱点Sora 有时会产生身体上难以置信的动作。 这个视频中Sora 把人和跑步机的方向就搞反了。
再来看看下面这个视频
https://cdn.openai.com/sora/videos/puppy-cloning.mp4
提示词五只灰狼幼崽在一条偏僻的碎石路上互相嬉戏、追逐周围都是草。幼崽们又跑又跳互相追逐、互相咬咬玩耍着。提示五只灰狼幼崽在一条偏僻的碎石路上互相嬉戏、追逐周围都是草。幼崽们又跑又跳互相追逐、互相咬咬玩耍着。 弱点动物或人可能会自发出现尤其是在包含许多实体的场景中。 这个视频是不是像无限影分身
https://cdn.openai.com/sora/videos/basketball-explosion.mp4
提示词篮球穿过篮筐然后爆炸。提示篮球穿过篮筐然后爆炸。 弱点不准确的物理建模和不自然的物体“变形”的例子。
https://cdn.openai.com/sora/videos/chair-archaeology.mp4
提示词考古学家在沙漠中发现了一把普通的塑料椅子他们小心翼翼地挖掘并除尘。提示考古学家在沙漠中发现了一把普通的塑料椅子他们小心翼翼地挖掘并除尘。 弱点在这个例子中Sora 未能将椅子建模为刚性物体导致物理交互不准确。
https://cdn.openai.com/sora/videos/grandma-birthday.mp4
提示词一位白发梳得整整齐齐的老奶奶站在木质餐桌上的彩色生日蛋糕后面蛋糕上插着无数蜡烛脸上的表情是纯粹的喜悦和幸福眼中闪烁着幸福的光芒。她倾身向前轻轻地吹灭蜡烛蛋糕上有粉红色的糖霜和糖珠蜡烛不再闪烁祖母穿着一件饰有花卉图案的浅蓝色衬衫几个幸福的朋友和家人坐在桌边。看到庆祝失去焦点。该场景拍摄精美具有电影般的效果展示了祖母和餐厅的 3/4 视图。温暖的色调和柔和的灯光增强了情绪。提示一位白发梳得整整齐齐的老奶奶站在木质餐桌上的彩色生日蛋糕后面蛋糕上插着无数蜡烛脸上的表情是纯粹的喜悦和幸福眼中闪烁着幸福的光芒。她倾身向前轻轻地吹灭蜡烛蛋糕上有粉红色的糖霜和糖珠蜡烛不再闪烁祖母穿着一件饰有花卉图案的浅蓝色衬衫几个幸福的朋友和家人坐在桌边。看到庆祝失去焦点。该场景拍摄精美具有电影般的效果展示了祖母和餐厅的 3/4 视图。温暖的色调和柔和的灯光增强了情绪。 弱点模拟对象和多个角色之间的复杂交互通常对模型来说具有挑战性有时会导致幽默的生成。
Sora 怎么使用
PS目前 openai 官方还未对用户开放不过根据文生图模型案例 一定是先给 ChatGPT Plus 付费用户使用需要注册或者升级 GPT Plus 可以看这个教程升级教程几分钟搞定安全可靠本人的GPT-4就是这么升级上来的
使用Sora前的准备工作
在开始之前确保您已经拥有了OpenAI账目并获得了Sora的访问权限。准备好您想要转化成视频的文本描述记住越详细越好。
Sora使用步骤一文本描述
登录您的OpenAI账户找到Sora的使用界面。在指定区域输入您的文本描述可以是一个故事概述、场景描述或是具体的动作指令。
Sora使用步骤二生成视频
完成文本描述和自定义设置后点击“生成视频”按钮。Sora将开始处理您的请求这可能需要几分钟时间。完成后您可以预览生成的视频。
需要注意的是截止2024年2月28日OpenAI只向部分专业用户开放了Sora的访问权限。普通用户只能观看其发布的演示视频。
openai sora如何使用的常见问答QA
问题Sora是什么
Sora是由OpenAI开发的AI视频生成模型。Sora可以根据用户提供的描述性文字生成长达60秒的高质量视频。Sora的视频包含精细复杂的场景、生动的角色表情和复杂的镜头运动。
问题Sora怎么使用
登录OpenAI账户并找到Sora的使用界面。在指定区域输入您的文本描述可以是一个故事概述、场景描述或是具体的动作指令。点击生成按钮OpenAI Sora会根据您的文本描述生成视频。
问题Sora的优势有哪些
Sora具有极强的扩展性基于Transformer架构可以应用于各种场景。Sora能够生成高质量、高清的视频展现复杂场景的光影关系、物体的物理遮挡和碰撞关系。Sora可以创造出包含多个角色、特定动作类型以及与主题和背景相符的详细场景。
问题Sora的训练原理是什么
Sora的训练分为两个阶段。首先使用一个标注模型为训练集中的视频生成详细描述。标注模型生成的描述能够更好地指导Sora生成视频。Sora利用稳定扩散Stable Diffusion技术将静态噪声转换为连贯图像。Sora模型采用初步的扩散模型生成视频长度并逐步消除噪声完成视频。
关于Sora的详细信息就分享到这里了
