OpenAI 今天凌晨发布了其首个视频生成模型 Sora。
Sora 可根据文本描述生成长达 60 秒的视频，其中包含精细复杂的场景、生动的角色表情以及复杂的镜头运动。
Sora 使用了一种特殊的深度学习模型（即 Transformer）来处理视频和图像数据。这种处理方式首先将视频和图像编码成潜在代码，然后将这些代码分解成包含时间和空间信息的小块（即时空补丁），最后利用 Transformer 模型在这些补丁上进行操作。
这样的处理方法能够有效地捕捉和生成视频和图像数据中的复杂时空动态，为生成高质量的视频和图像提供了一种强大的方法。
