视频版 Midjourney 又进化了：一句话生成视频，谷歌注资，网友大呼好莱坞已死！ 每日动态

提到国外的生成式 AI 大模型，文本生成领域有 ChatGPT，图像生成领域有 Midjourney 和 Stable Diffusion，那么视频生成领域有什么？

很多人第一个会想到 Runway 公司的 Gen-1。

Gen-1 是 Runway 在今年 2 月推出的一款（也是该公司的第一款）由文本生成视频的 AI 大模型。不过就在几天前，它的迭代版本 Gen-2 也正式发布了。

(资料图片仅供参考)

在此之前，Gen-2 从 3 月下旬开始已经进行了一段时间的小范围测试。

虽然当时 Runway 的发言人 Kelsey Rondenet 说过 Gen-2 会在未来几周对所有人开放，不过直到 6 月，这个承诺才算真的兑现了。

所以千呼万唤始出来的 Gen-2，到底进化到哪一步了？

真正的从零开始生成视频

在发布 Gen-1 的时候，Runway 专门开辟了一个网页来给大家讲解 Gen-1 能怎么用，大致来讲主要包括了下面 5 个功能：

- 输入一张图片提示，来让原视频变成你想要的风格；

- 上传视频 + 一段提示词，生成你想要的视频（比如让一只拉布拉多变成斑点狗）；

- 输入图片或提示词，来让一段只做了 3D 建模的视频草稿变完整；

- 上传一段随意拍摄的视频，自动生成一段有故事感的片段（比如随意摆放的书最后成了一片高楼大厦）；

- 在原视频的基础上，更自由地定制你想要的视频风格（哪怕变出一只现实里并不存在的奇行种）。

发现没有，使用 Gen-1 的前提是必须先有一个现成的视频。说白了，Gen-1 的作用其实就相当于给原视频加了一个更高级的滤镜。

而到了 Gen-2，可以说才真正实现了从零开始生成视频的梦想。

从介绍来看，Gen-2 比 Gen-1 多了 3 个厉害的功能：

- 文本到视频：只用输入一段提示词，就能生成一段视频；

- 文本和图片到视频：输入一张图片 + 一段提示词，就能让图片动起来；

- 图片到视频：只用输入一张图片，就能自动生成一段视频（比如让图片里的云飘起来，水流起来，人走动起来）。

此图为输入 "The late afternoon sun peeking through the window of a New York City loft" 的提示词生成

如果说 Gen-1 充其量只能当做一个修改视频的工具，那么 Gen-2 几乎已经能作为一个视频生产工具了——试想一句话生成的一个个视频片段，最后拼到一起就能讲一个完整的故事了……

总之就是只能拿来玩和能拿来用的区别。

虽然目前 Gen-2 生成的视频依然存在细节模糊不清、形态扭曲等等品质问题，且生成的视频长度最多只有 4 秒，但它可能是现在视频生成领域最厉害的 AI 大模型工具了。

当然，从 Gen-2 开始，也标志着 Runway 公司正式进入了收费时代：不同于 Gen-1 的完全免费，Gen-2 免费版的视频生成功能有限（试用额度只有 105 秒，约等于 26 个 4 秒视频，且分辨率低、有水印），用户需要每月付 15 美元（或 144 美元包年）才能用到它的完整功能。

Runway 有啥来头？

Gen-2 背后的 Runway 是一家成立于 2018 年的年轻公司，一直在研究怎么用 AI 来提升视频制作效率。

除了 TikTok 和 YouTube 上的普通用户，Runway 的客户还包括了不少主流影视工作室，比如扣扣熊主持的《深夜秀》就用到过 Runway 的工具来辅助编辑图像。

它最著名的一次应用应该是去年在中国观众中间非常出圈的电影《瞬息全宇宙》，据报道里面让人印象深刻的面条手，还有石头对话等超现实场景都用到了 Runway 的技术。

不过很多人可能会忽略的是，早些天被爆出大丑闻的 Stable Diffusion 也和 Runway 关系密切。

准确来说是一直被外界视作 Stable Diffusion（时下图像生成领域最热门的大模型之一）背后公司的 Stability AI 爆雷了，媒体列出 Stability AI 的罪状之一就是，它把 Stable Diffusion 的 10 亿代码成果 " 据为己有 "，而它充其量只是给 Stable Diffusion 提供了算力（出了钱）。

实际上真正为 Stable Diffusion 出力的是慕尼黑大学、海德堡大学，以及 Runway。

Stable Diffusion 最早发表在 CVPR 2022 年中的一篇论文

也就是说，Runway 是 Stable Diffusion 的研发者之一。

Runway 在去年还因为官宣发布了 Stable Diffusion v1.5 版本一度被 Stability AI 抓着不放，但那次的舆论最终还是站在了 Runway 这边。

这也是 Runway 在 " 成名 " 以前为数不多的 " 八卦 "。

后来就像大多数的大模型开发公司一样，不再参与 Stable Diffusion 项目的 Runway 在发布 Gen-1 之后，发展速度就像坐上了火箭，并且在本月初拿到了谷歌的投资，距离 D 轮 1 亿美元的融资刚过去一个月，累计融资至少已有 2 亿美元，成为大模型领域的明星公司。

说个更直观的数字，2021 年 12 月对冲基金 Coatue 花 3500 万美元投资 Runway 时，其估值为 2 亿美元，一年后估值变成 5 亿美元，再过了半年，它的估值就又翻了 3 倍（保守说有 15 亿美元）。

网友：好莱坞 is dead

Gen-2 的正式发布让不少网友感到兴奋。

在 Runway 官宣发布 Gen-2 的推文下，出现了一些普通用户 " 求教程 " 的声音：

不过已经有行动力强的用户开始试着用 Gen-2 生成自己的视频了，不少用户都在 Runway 推文的评论区交上了自己的 4 秒钟 " 作业 "。

尽管 Runway 只是在网站列出了 Gen-2 的主要功能，并没有教给大家更多 Gen-2 的玩法，但聪明的网友已经自己学着用 Gen-2 生成的视频剪辑出了一个有反转的短故事。

比如这个叫 "Monster of the sea（海怪）" 的48 秒故事：天气晴朗、风平浪静的一天，一搜帆船开始还很悠然地行驶在海上，船上的游客惬意地碰着杯喝着酒，可突然狂风大作，船员拿起望远镜往远处望，发现一只巨大的海怪出现在海面，船随着海浪开始颠簸，甚至燃烧了起来，船上的人纷纷跳水弃船逃生。

来自推特网友 @MHU

甚至有直接用 ChatGPT 写了剧本、再用 Gen-2 生成的视频拼成一个故事的。

还有用户拿 Gen-2 生成的素材剪了一个 1 分钟的电影预告片，甚至在最后幽默地加了一个戛纳电影节的标志，如果生成的视频质量再高一点，怕不是真能以假乱真。

来自推特网友 @Toni Seldr

不过视频质量差、生成的视频时长太短等也确实成了用户吐槽 Gen-2 的点。

并且在为安卓用户提供 App 服务的问题上，Gen-2 和 Gen-1 一样也还是没有长进。当然，更多用户还是对 Runway 表现出了宽容。有网友评价说，" 虽然它有太多的不完美，但有一点可以肯定，整个视听工业都将迎来革命性的改变。"还有网友更激进地说，" 好莱坞已死，任何人都可能做出一部世界级的电影。"

真能取代好莱坞吗？

可以理解为什么广大网友对 Gen-2 的推出如此兴奋。Gen-2 对普通用户的好处是明摆着的——假以时日，文本生成视频技术一旦成熟，将意味着拍电影不再只是大制片厂的专属，任何一个普通人都可以做一部自己的电影。

Runway 并没有明确说过 Gen-2 面向的人群到底是谁。不过我们可以从它推出 App 以及之前和影视工作室有过的合作等等动作来看，大致猜到有哪些人会用到 Gen-2：专业的制片公司，个人工作室性质的独立生产者，以及我们这样的普通用户。

虽然 Gen-2 看起来对普通用户很友好，但制片公司们会用 Gen-2 这样的工具也是肯定的。

毕竟大模型不同于过去任何一个热过之后就销声匿迹的概念，它将成为未来又一次深刻改变人类的产业革命，几乎已经是各行各业的共识。

事实上在国内，已经有影视项目开始借助大模型来完成一些工作。比如在剧本筹备阶段，会把分镜头故事板的产出工作交给 Midjourney（据说能省下几十万元的成本）。

那假设，有一天 Gen-N 成熟到也能生成能直接拿去用的完美镜头呢？

或者可以拿大模型在游戏行业的应用做个类比，Midjourney 等工具的使用显然已经对游戏公司产生了非常现实的影响：先是出于节省成本的需要砍掉美术外包团队，接着就是在自己人身上动刀，甚至有从业者提到最多有 8 成的原画师会下岗。

考虑到如今大模型的迭代速度，它的影响真正显现在影视行业也会是迟早的事。

不过我反而觉得，Gen-2 大模型可能会淘汰那些影视行业流水线上的 " 工人 "，但却淘汰不了真正的艺术家。

之前听到过一个说法，AI 大模型生成的内容里，可能有 80% 都会是对人类过去经验无聊的重复，但也可能有 20% 闪光的东西。就比如在中式美学和赛博朋克如何进行融合的问题上，普通创作者可能需要极长时间进行思考，AI 却可能生成一个让人意想不到的结果，给人带来惊喜。

这 20% 是 AI 存在的意义，剩下的就需要真正有创造力的人去补足。

还有从业者提到过一个观点，AI 大模型运用到影视行业的生产，不意味着非专业人士也能轻松上手——如果想借助 AI 的力量创作剧本，还需要针对剧本公式和故事结构等相关知识进行充电。不具备基础知识的小白即便有了 AI 这个超级助理也无济于事。

所以回到 AI 是不是能取代好莱坞的问题，事实上好莱坞可能是最早对新技术的 " 入侵 " 有所感知的，就像在今年 5 月初，数以千计的好莱坞编剧工会（WGA）成员曾进行罢工示威，诉求之一便是抵制在剧本写作中广泛使用 AI 的现象。

如果有一天 Gen-N 真的来了，好莱坞导演们可能第一个不答应。