它是一个 AI 模型，可在称为 Lumiere 的最先进水平上创建视频。
最初，Google 有一个名为 视频诗人 已经
VideoPoet – 谷歌研究院
用于零镜头视频生成的大型语言模型。VideoPoet 演示了简单的建模方法，可以将任何自回归语言模型转换为高质量的视频生成器。
替换为名称 Shape Generator。 ImageGen （图像生成）
形象视频
使用 Diffusion Models 生成高清视频
但 Lumiere 出来了。这比原版酷得多，并且可以创建高质量的短视频。
基本
- Lumiere 使用超过 3000 万个视频的数据集进行训练。80 帧长，插入文本字幕进行练习。
- 它每秒可以生成 16 帧视频。
- 并没有说这 3000 万个视频来自同一个来源。
这项工作是 Google Research 团队与以色列领先的技术大学之间的联合研究，即：
Lumiere 有 4 个很酷的功能：
- 视频编辑 - 您可以通过提示命令来解决它（简单但非常神圣）。
- 风格化的一代 - 您可以根据我们提供的参考资料创建视频（您可以将参考资料作为图片或视频提供）。模型将学习该样式，然后创建一个视频以使用该样式。
- 图像和文本到视频 - 不要只是将提示作为消息。例如，抛出一张我们静止的脸的照片，然后告诉它创建一张我们笑的照片。这是可以做到的，这太神圣了。
- 动态图片 - 仅选择图像的一部分，并将其动画化为视频。
源
所有这些信息都是在 GitHub 上发布的 Google 研究。
Lumiere - Google Research 的 Google Research时空文本到视频扩散模型 Research.lumiere-video.github.io
Paper งานวิจัย
其中一位名为 Hila 厨师 来自特拉维夫大学，它被发布在 X 上。
