视频版 Midjourney 又进化了:一句话生成视频,谷歌注资,网友大呼好莱坞已死!-百事通
2023-06-17 10:18:06来源:ZAKER科技
提到国外的生成式 AI 大模型,文本生成领域有 ChatGPT,图像生成领域有 Midjourney 和 Stable Diffusion,那么视频生成领域有什么?
(资料图片)
很多人第一个会想到 Runway 公司的 Gen-1。
Gen-1 是 Runway 在今年 2 月推出的一款(也是该公司的第一款)由文本生成视频的 AI 大模型。不过就在几天前,它的迭代版本 Gen-2 也正式发布了。
在此之前,Gen-2 从 3 月下旬开始已经进行了一段时间的小范围测试。虽然当时 Runway 的发言人 Kelsey Rondenet 说过 Gen-2 会在未来几周对所有人开放,不过直到 6 月,这个承诺才算真的兑现了。
所以千呼万唤始出来的 Gen-2,到底进化到哪一步了?
真正的从零开始生成视频
在发布 Gen-1 的时候,Runway 专门开辟了一个网页来给大家讲解 Gen-1 能怎么用,大致来讲主要包括了下面 5 个功能:
- 输入一张图片提示,来让原视频变成你想要的风格;
- 上传视频 + 一段提示词,生成你想要的视频(比如让一只拉布拉多变成斑点狗);
- 输入图片或提示词,来让一段只做了 3D 建模的视频草稿变完整;
- 上传一段随意拍摄的视频,自动生成一段有故事感的片段(比如随意摆放的书最后成了一片高楼大厦);
- 在原视频的基础上,更自由地定制你想要的视频风格(哪怕变出一只现实里并不存在的奇行种)。
发现没有,使用 Gen-1 的前提是必须先有一个现成的视频。说白了,Gen-1 的作用其实就相当于给原视频加了一个更高级的滤镜。而到了 Gen-2,可以说才真正实现了从零开始生成视频的梦想。
从介绍来看,Gen-2 比 Gen-1 多了 3 个厉害的功能:
- 文本到视频:只用输入一段提示词,就能生成一段视频;
- 文本和图片到视频:输入一张图片 + 一段提示词,就能让图片动起来;
- 图片到视频:只用输入一张图片,就能自动生成一段视频(比如让图片里的云飘起来,水流起来,人走动起来)。
此图为输入 "The late afternoon sun peeking through the window of a New York City loft" 的提示词生成如果说 Gen-1 充其量只能当做一个修改视频的工具,那么 Gen-2 几乎已经能作为一个视频生产工具了——试想一句话生成的一个个视频片段,最后拼到一起就能讲一个完整的故事了……
总之就是只能拿来玩和能拿来用的区别。
虽然目前 Gen-2 生成的视频依然存在细节模糊不清、形态扭曲等等品质问题,且生成的视频长度最多只有 4 秒,但它可能是现在视频生成领域最厉害的 AI 大模型工具了。
当然,从 Gen-2 开始,也标志着 Runway 公司正式进入了收费时代:不同于 Gen-1 的完全免费,Gen-2 免费版的视频生成功能有限(试用额度只有 105 秒,约等于 26 个 4 秒视频,且分辨率低、有水印),用户需要每月付 15 美元(或 144 美元包年)才能用到它的完整功能。
Runway 有啥来头?
Gen-2 背后的 Runway 是一家成立于 2018 年的年轻公司,一直在研究怎么用 AI 来提升视频制作效率。
除了 TikTok 和 YouTube 上的普通用户,Runway 的客户还包括了不少主流影视工作室,比如扣扣熊主持的《深夜秀》就用到过 Runway 的工具来辅助编辑图像。
它最著名的一次应用应该是去年在中国观众中间非常出圈的电影《瞬息全宇宙》,据报道里面让人印象深刻的面条手,还有石头对话等超现实场景都用到了 Runway 的技术。
不过很多人可能会忽略的是,早些天被爆出大丑闻的 Stable Diffusion 也和 Runway 关系密切。准确来说是一直被外界视作 Stable Diffusion(时下图像生成领域最热门的大模型之一)背后公司的 Stability AI 爆雷了,媒体列出 Stability AI 的罪状之一就是,它把 Stable Diffusion 的 10 亿代码成果 " 据为己有 ",而它充其量只是给 Stable Diffusion 提供了算力(出了钱)。
实际上真正为 Stable Diffusion 出力的是慕尼黑大学、海德堡大学,以及 Runway。
Stable Diffusion 最早发表在 CVPR 2022 年中的一篇论文也就是说,Runway 是 Stable Diffusion 的研发者之一。
Runway 在去年还因为官宣发布了 Stable Diffusion v1.5 版本一度被 Stability AI 抓着不放,但那次的舆论最终还是站在了 Runway 这边。
这也是 Runway 在 " 成名 " 以前为数不多的 " 八卦 "。
后来就像大多数的大模型开发公司一样,不再参与 Stable Diffusion 项目的 Runway 在发布 Gen-1 之后,发展速度就像坐上了火箭,并且在本月初拿到了谷歌的投资,距离 D 轮 1 亿美元的融资刚过去一个月,累计融资至少已有 2 亿美元,成为大模型领域的明星公司。
说个更直观的数字,2021 年 12 月对冲基金 Coatue 花 3500 万美元投资 Runway 时,其估值为 2 亿美元,一年后估值变成 5 亿美元,再过了半年,它的估值就又翻了 3 倍(保守说有 15 亿美元)。
网友:好莱坞 is dead
Gen-2 的正式发布让不少网友感到兴奋。
在 Runway 官宣发布 Gen-2 的推文下,出现了一些普通用户 " 求教程 " 的声音:
不过已经有行动力强的用户开始试着用 Gen-2 生成自己的视频了,不少用户都在 Runway 推文的评论区交上了自己的 4 秒钟 " 作业 "。尽管 Runway 只是在网站列出了 Gen-2 的主要功能,并没有教给大家更多 Gen-2 的玩法,但聪明的网友已经自己学着用 Gen-2 生成的视频剪辑出了一个有反转的短故事。
比如这个叫 "Monster of the sea(海怪)" 的48 秒故事:天气晴朗、风平浪静的一天,一搜帆船开始还很悠然地行驶在海上,船上的游客惬意地碰着杯喝着酒,可突然狂风大作,船员拿起望远镜往远处望,发现一只巨大的海怪出现在海面,船随着海浪开始颠簸,甚至燃烧了起来,船上的人纷纷跳水弃船逃生。
来自推特网友 @MHU甚至有直接用 ChatGPT 写了剧本、再用 Gen-2 生成的视频拼成一个故事的。
还有用户拿 Gen-2 生成的素材剪了一个 1 分钟的电影预告片,甚至在最后幽默地加了一个戛纳电影节的标志,如果生成的视频质量再高一点,怕不是真能以假乱真。
来自推特网友 @Toni Seldr不过视频质量差、生成的视频时长太短等也确实成了用户吐槽 Gen-2 的点。
并且在为安卓用户提供 App 服务的问题上,Gen-2 和 Gen-1 一样也还是没有长进。当然,更多用户还是对 Runway 表现出了宽容。有网友评价说," 虽然它有太多的不完美,但有一点可以肯定,整个视听工业都将迎来革命性的改变。"还有网友更激进地说," 好莱坞已死,任何人都可能做出一部世界级的电影。"真能取代好莱坞吗?可以理解为什么广大网友对 Gen-2 的推出如此兴奋。Gen-2 对普通用户的好处是明摆着的——假以时日,文本生成视频技术一旦成熟,将意味着拍电影不再只是大制片厂的专属,任何一个普通人都可以做一部自己的电影。
Runway 并没有明确说过 Gen-2 面向的人群到底是谁。不过我们可以从它推出 App 以及之前和影视工作室有过的合作等等动作来看,大致猜到有哪些人会用到 Gen-2:专业的制片公司,个人工作室性质的独立生产者,以及我们这样的普通用户。
虽然 Gen-2 看起来对普通用户很友好,但制片公司们会用 Gen-2 这样的工具也是肯定的。
毕竟大模型不同于过去任何一个热过之后就销声匿迹的概念,它将成为未来又一次深刻改变人类的产业革命,几乎已经是各行各业的共识。
事实上在国内,已经有影视项目开始借助大模型来完成一些工作。比如在剧本筹备阶段,会把分镜头故事板的产出工作交给 Midjourney(据说能省下几十万元的成本)。
那假设,有一天 Gen-N 成熟到也能生成能直接拿去用的完美镜头呢?
或者可以拿大模型在游戏行业的应用做个类比,Midjourney 等工具的使用显然已经对游戏公司产生了非常现实的影响:先是出于节省成本的需要砍掉美术外包团队,接着就是在自己人身上动刀,甚至有从业者提到最多有 8 成的原画师会下岗。
考虑到如今大模型的迭代速度,它的影响真正显现在影视行业也会是迟早的事。
不过我反而觉得,Gen-2 大模型可能会淘汰那些影视行业流水线上的 " 工人 ",但却淘汰不了真正的艺术家。
之前听到过一个说法,AI 大模型生成的内容里,可能有 80% 都会是对人类过去经验无聊的重复,但也可能有 20% 闪光的东西。就比如在中式美学和赛博朋克如何进行融合的问题上,普通创作者可能需要极长时间进行思考,AI 却可能生成一个让人意想不到的结果,给人带来惊喜。
这 20% 是 AI 存在的意义,剩下的就需要真正有创造力的人去补足。
还有从业者提到过一个观点,AI 大模型运用到影视行业的生产,不意味着非专业人士也能轻松上手——如果想借助 AI 的力量创作剧本,还需要针对剧本公式和故事结构等相关知识进行充电。不具备基础知识的小白即便有了 AI 这个超级助理也无济于事。
所以回到 AI 是不是能取代好莱坞的问题,事实上好莱坞可能是最早对新技术的 " 入侵 " 有所感知的,就像在今年 5 月初,数以千计的好莱坞编剧工会(WGA)成员曾进行罢工示威,诉求之一便是抵制在剧本写作中广泛使用 AI 的现象。
如果有一天 Gen-N 真的来了,好莱坞导演们可能第一个不答应。
责任编辑:hnmd003
相关阅读
-
4K 技术、OLED 显示屏、 原相 3395 我都要!雷柏 VT950PRO Qi 无线充电鼠标评测 天天热点评
在许多DIY电竞玩家眼里,游戏鼠标就好比将军眼中的神兵利器,一款操控
2023-06-17
相关阅读
-
视频版 Midjourney 又进化了:一句话生成视频,谷歌注资,网友大呼好莱坞已死!-百事通
提到国外的生成式AI大模型,文本生成领域有ChatGPT,图像生成领域有Mid
-
20 岁职场新人生存法则
交易活动下降、裁员一波接一波、让原本十拿九稳,可以靠着暑期实习拿下
-
AI 时代,设计师终于可以告别 Photoshop 了吗?
被称为设计师饭碗的AdobePhotoshop,因为价格高昂,学习曲线陡峭,让很
-
大乘汽车获工信部公示,自游家要复出?
图片来源:视觉中国此前陷入破产传闻的大乘汽车又有了新动态。工信部官
-
减肥训练营:背水一战还是饮鸩止渴?
本文来自微信公众号:五环外,作者:刘奕然,编辑:车卯卯,题图来自:
-
深蓝 S7 想在上市前“降价”
图片来源@视觉中国文|汽车像素,作者|曹琳,编辑|冒诗阳AutoPix独家获
-
全球速讯:第五届中国西藏旅游文化国际博览会开幕式掠影
第五届中国西藏旅游文化国际博览会开幕式掠影。
-
组团服务!虹口区重大工程项目再添新动力
记者从区重大办获悉,日前,虹口区出台《重大工程项目区级服务专班工作
-
3周以后,四大生肖财运水涨船高,吉星庇护,财运汹涌来袭-全球速讯
生肖狗的人有经济头脑,好运降临,大风大浪之后才是新生,环游遍整个星
-
中华鼎利年年年金保险靠谱吗?值得购买吗? 每日精选
靠谱的。首先,中华鼎利年年年金保险由中华联合人寿保险公司推出,具有
-
君康人寿君悦一生年金险怎么样?有哪些保障?
很不错。首先倘若是出生满28日-70周岁的人群,都有机会购买君悦一生养
-
今日关注:鑫易宝年金保险怎么样?有什么保障?
还是非常不错的。鑫易宝年金保险是一款备受认可的保险产品,被广大客户
-
天天快播:颐养年年保险好吗?值得投保吗?
是一款不错的保险产品,该保险为投保人提供终身保额,确保投保人能够在
-
支付宝人保寿险福寿年年怎么样?保障是什么?|世界速读
是一款不错的保险产品,具有许多优势。首先,购买流程简单快捷,只需在
-
“药妆茅”贝泰妮失速:砸20亿销售费,1.39亿预付款去向未明_全球观焦点
全年最大的促销季之一“618”激战正酣,曾经被看作是“药妆茅”的贝泰
-
外观细节微调 奥迪RS 6 Avant GT谍照曝光_世界动态
外观细节微调奥迪RS6AvantGT谍照曝光近日,车质网从外媒获取了一组奥迪
-
创卫进行时|我市第7个爱国卫生宣传周活动方案出炉|当前热门
今年6月第三周即6月19日至25日是自治区第7个爱国卫生宣传周。为进一步
-
倡议书-全球实时
广大人民群众:今年6月第三周是自治区第7个爱国卫生宣传周。为大力弘扬
-
包头周末|“踢球者”的快乐周末
爱好者组队踢球。每逢周末,在我市各个足球场,到处可以看到奔跑追逐的
-
山海不为远 携手向未来——2023年中蒙俄友好省市青少年线上交流活动侧记
6月15日,一场别开生面的线上交流会在包头市教育局举行。包头国际会客
-
应急救援实战演练
消防队员展示绝活。今年6月是第22个全国“安全生产月”。6月16日,市安
-
小米造车,从手机涨价开始 报道
小米改变了自己的风格。过去数个季度,小米营收持续下滑,甚至在去年一
-
本内容在 618 期间有重大购机指导意义_世界即时看
618大促已经开启,国产手机市场早已硝烟弥漫。今年年初,多家数据机构
-
4K 技术、OLED 显示屏、 原相 3395 我都要!雷柏 VT950PRO Qi 无线充电鼠标评测 天天热点评
在许多DIY电竞玩家眼里,游戏鼠标就好比将军眼中的神兵利器,一款操控
-
遭黑客攻击,美国数百万人信息泄露!
据央视新闻6月17日消息,据美国有线电视新闻网(CNN)当地时间6月16日
-
小米汽车硬件利润率不超 1%?此路可通,但注定艰难
图片来源@视觉中国文|电车通新能源汽车又有惊喜要发生了,尚在冲刺阶段
-
动态焦点:盈利承压、研发不足、竞争加剧……多重挑战之下,中小银行如何破局?
中小银行是我国金融体系的重要组成部分,近年来随着宏观形势、监管要求
-
新资讯:蔚来降价智己跟进 合资“反卷” 新势力? 卖车赔钱让成本失控
国内电动车市场正在经历卷生卷死。就在6月12日蔚来宣布全系降价3万元后
-
世界观热点:又一个城市官宣全面取消限售
福建省福清市成为今年又一个正式官宣,全面取消限售的城市。日前,福清
-
新华全媒+|西藏持续优化营商环境助力招商引资 天天要闻
在西藏山南市乃东区颇章乡格拉村,西藏宏农百万羽智能化藏鸡产业园拔地
精彩推荐
阅读排行
精彩推送
- 天天最新:金沙江拉哇水电站正式...
- 炎陵:擦亮“中华始祖炎帝”品牌...
- 时隔十个月!央行连续“降息”啥...
- 每日看点!富德生命岁岁金a款年金...
- 收益最高的年金险有哪些?一般是...
- 快讯:和润年年年金是哪个保险公...
- 福满满养老年金险怎么样可靠吗?...
- 乐享百岁人生怎么样?值得购买吗...
- 知网被罚8760万之后:全员竞聘上...
- 预计9月底量产 全新一代北京BJ4...
- 搭三种动力 东风风神皓瀚将6月2...
- 热推荐:新款路虎揽胜星脉上市 ...
- 观天下!打残理想的,是华为吗?
- 李斌真掏出了 ET5 旅行,帅得...
- AI 大模型数据被盗第一案?细节曝光
- 全面推进乡村振兴!央行等五部门...
- 租户装修门面房,打通多间墙体,...
- 5 月自主品牌市场份额超 50%:...
- 大反转!丰田官宣新技术,纯电续...
- 格力空调怎么开机后自动停呢_格...
- VinFast推出“特别售后政策”限时优惠
- Nikola创始人敦促公司变更领导层...
- 全新雪佛兰探界者申报图曝光 或...
- 环球快报:十几年的命名推倒重来...
- 余承东:除了华为和比亚迪,其他...
- 硅谷巨头内部文件泄露:67 种用...
- 全球新动态:618 好物推荐之华...
- 当前关注:首发骁龙 8 Gen3!...
- 济南最大夜市“乔迁”首日一小时...
- 俄罗斯外交部召见澳大利亚驻俄大使