驯服调皮的 Diffusion,就能让服装卖家们不再为请模特发愁了!
2023-07-12 09:15:31来源:ZAKER科技
产品简介:简单来说 ,Weshop 就是 " 一键给服装商品配个模特 " 的 AI 工具。用户在上传自己拍摄的真实服装图片后,可以在它提供的交互界面里,通过简单的勾选和语言描述,生成不同风格种类的模特图。这对中小电商卖家,尤其一些需要外籍模特的跨境商家来说,可以节省很多成本。目前它已经对外开放,并可以免费试用。
(相关资料图)
2022 年 8 月,Stable Diffusion 开源了它的模型。它进一步降低了对计算设备的需求,同时又带来了惊艳的图片生成效果,和已经被很多人把玩的 Midjourney 一起,伴随着口水和争执彻底带火了 AI 生成图片的技术应用。但随着使用者增加,人们也困扰于它的不可控:一些细节总是无法按照需要生成,导致图片经常无法真正的被使用——虽然叫 stable 但并不怎么稳定。
直到次年 2 月,ControlNet 的出现改变了一切。这是一种神经网络结构,通过增加更多的条件来控制扩散模型,当加到 Stable Diffusion 上后彻底改变了它的可用性。
在 Controlnet Stable Diffusion 刚一出现时,并没有立刻改变混乱的 AI 绘画社区,艺术家和创作者们还是在混乱而兴奋的讨论和使用着这些工具,但在杭州的一个小办公室里,一个一直在关注 Diffusion 模型的小团队,觉得他们等了很久的东西终于出现了。
" 我觉得这一波有机会了。" 吴海波对我说。他是 WeShop 团队的负责人,他们开发了一款基于 Diffusion 模型的服装模特生成工具。WeShop 团队是电商公司蘑菇街的一支特种兵,他们一直在关注虚拟试衣的方向,在 Stable Diffusion 出来时,他们已经在尝试搭建自己的各种 demo,而看到 ControlNet 的一刻,他们觉得是时候做一些更深入的版本了。
ControlNet 让一个期待了许久的技术走向商业场景的可用,而另一个冲击也在 4 月到来—— Meta 的 Segment Anything 出现。这是一个用于图形分割的基础模型,让人们可以只通过提示工程就可以高效的完成高质量的图形分割。
这是一次飞跃,所有人都炸了。
吴海波回忆他所在的技术讨论小群看到这篇论文的那个夜晚。" 那天晚上大家都很热闹,因为你一直在做相关的工作,就会发现你看到这个技术时你的理解跟别人不一样,你一直苦恼的东西你觉得它能马上解决。"
然后一周半不到,WeShop 的全新方案完成。
今天你打开 WeShop 的网站,可以看到这是一个三列式的布局。" 最左边是功能图,你可以理解成它是我今天雇的一个 AI 摄影师,他目前主要是干这个场景的,但我们未来会有非常多场景,比如说你要拍个淘宝类的,拍个小红书类的,拍个拼多多类的,你再拍个亚马逊类的,以前只能一套图多用,但现在完全是可以的。 "简单来说 ,WeShop 就是 " 一键给服装商品配个模特 " 的 AI 工具。用户在上传自己拍摄的真实服装图片后,可以在它提供的交互界面里,通过简单的勾选和语言描述,生成不同风格种类的模特图,也可以选择让这些模特出现在不同的背景中。这对中小电商卖家,尤其一些需要外籍模特的跨境商家来说,可以节省很多成本。目前它已经对外开放,并可以免费试用。
以下为一些真实例子,可以看到,它生成的图片和真实模特拍摄的之间已经难以区分。
" 商家们比我们更聪明 "
技术方案确定的同时,WeShop 也快速选择了两个主要的商用场景:一个是外模场景,另一个是 " 真人场景 "。
前者来自于 WeShop 过去几年和跨境商家的接触,他们普遍苦于寻找合适的外籍模特,而疫情更加深了这种苦恼;另一个则基于蘑菇街的电商经验。
" 因为我们做这么多年电商之后,非常讨厌货不对版,我们认为必须设定底线,也就是但凡任何一套技术它会改变商品本身的细节的,售卖的过程中就会出问题,就不能上。"
所以 WeShop 设计了真人和人台的概念。
" 人台是说,你针对真实产品虽然请不起外模,但你自己把它穿上去,你只要这样拍,具体是什么样都无所谓,你在哪里拍都好,我们都可以给你生成好看的模特图片。我们产品反复在迭代就是降低你对图片本身的要求,这是核心未来要不停做的。" 吴海波说。
" 第二个是真人,也就是有好多国内卖家,他其实也拍过图了,拍过图之后我们可以帮他把图换掉,可以生成另一种图。"
而在产品逐渐提供给商家试用后,更多的有意思的需求由商家们提了出来。
一个是今天网红带货里非常爱说的 " 氛围感 ",有非常多的商家反馈他们非常需要抠背景,就是商品换背景,换各种地方,而传统的技术会显得不够逼真。" 然后我们发现我们花了一点精力做了一下,效果也很好,我们也就做上去了。"
而更让开发团队感到惊喜的,是聪明的商家们发明的使用窍门。
在人台的生成过程中,不可避免出现一些崩掉的问题。weshop 团队一开始想了各种方法,比如让商家自己买个真人台,要求一定要有头,或者用技术的方法给每一个人台再生成一个头。
最后发现,用户自己解决了,方法非常简单,就是在上传图片时,同时在头的位置涂抹两下,就好了。
" 是我们自己想多了,用户比我们聪明多了。" 他说。而这样的做法从技术上也能立刻理解,它帮助模型识别的更准确。" 我们马上会有一个新的功能,就是让他更容易涂,直接在我这边能涂,不用去美图秀秀,也不用去 ps 中涂,后面还会再加一个小工具扩一下,可以涂,还可以把四肢长出来。"越来越多的商家开始使用,也有越来越多的商家开始付费。目前,weshop 的订阅价格为 298 元 / 月、598 元 / 月、1598 元 / 月,其对应算力点为 20000、60000、200000,分别约可生成 2000 张、6000 张、20000 张商拍图。此外 WeShop 也提供 " 加油包 " 作为算力补充,有 25 元、125 元、250 元三个档位可供选择。在这个收费逻辑下,用户使用 WeShop 越熟练,算力浪费就越少,即单张商拍图的价格就越低。
产品经理思路
作为一款基于新流行的人工智能技术开发的产品,也意味着它在开发过程中要面对全新的问题,以及解决全新问题的技术路线的抉择与取舍。
在技术方案确定后,WeShop 团队面对的最大挑战依旧是如何让这套技术方案能够在业务工作流里听他们的话。让扩散模型可以被掌控永远是非常难的事情。
如果把 Diffusion 想成一个人,他就是一个很调皮,有自己想法的人。
比如,吴海波介绍了一个调皮的例子:" 大部分时候我们把图像切割出来之后,Diffusion 模型非常喜欢在商品的边缘做一些他自己的修饰,比如说他给你袖子这里加一个链条,或者说你明明是一个穿着高跟鞋的,他给你上面加一些花纹,就是你的鞋面上给你加一点东西,你的鞋跟给你加一点东西,就这些事情他非常喜欢干。"
而面对这样的问题,WeShop 团队也曾想出很算法科学家的解决方案——他们开发了一个模型。" 这个当时按我们的理解,就是一个局部重绘的场景,所以我们当时就开发一个模型,它可以缓解很多这种问题。" 吴海波说。
但是当模型上线时,在测试的时候他们发现,这个模型会让整体照片的质感偏向一种油画的感觉,像是加了一层滤镜——这是产品经理思路的人才会发现的问题。
" 对产品经理来讲,才会盯这个东西,且盯得很细。我们在自己的测试集里面是没有问题的,如果是发 paper 的那种算法开发的思路,这就够了。但是我们选择拿很多用户上次跑过的案例再跑一次,结果两张图放一起比就发现,一些情况下滤镜的感觉就出来了。" 吴海波说。
团队内部为此争论了一个星期。" 这是一个电商场景,他拿回去还要再做处理的,我最好给他的是一个 iPhone 原片,或者是某个单反摄像机的原片这种感觉,他可以再做处理。但我如果已经给他了,他就没法用了,它的感受不一样,感受 p 图过度了。"
" 最后我们决定下线自己研发的这个模型。" 吴海波说。" 对我们来说迭代出一个模型是非常困难的,而且好不容易有一个模型能上线解决一个很重要的问题,但最终我们还是强行下线了它,没有让它出现在客户面前过。"
这也形成了 WeShop 的产品思路,产品经理的比重会大过纯算法或者技术的思路,因为后者往往会走向炫技的陷阱。
WeShop 团队内部也经常讨论为什么 GPT 会在 OpenAI 而不是在 Google 出来的问题。一个结论就是,对同样的模型,怎么去调它这件事,理解是不一样的。
" 我们实践的过程中我们出的图脸很少崩的,因为我们接受不了脸崩这件事情,因为我做产品的,我怎么把整个脸都崩成鬼畜的样子出来,这是不能接受的。但是如果是一个工程师团队或者是一个学术团队,我第一波做完,我现在公开测试指标好不好,我指标如果不错,然后再从我的 case 中,只要我的脸崩概率小于百分之多少,我就认为可用了,就类似于这一套东西跟我们以前做算法很像的,发 paper 的思路,做完结束了,那就做下一个。
吴海波记得 OpenAI 也分享过类似的经验,他们与 Google 的区别就在于,OpenAI 的人们就像一个产品团队,开发后会不停的用产品,而 Google 的团队在学术界 paper 发完了就进入到下一个课题了。" 但是只有产品经理、对产品负责的人,他才会反复对自己孩子一样,反复用它,你才会知道它的边界已经超出你的认知了,你指导回来的那个技术方向也就不一样。"
吴海波认为,他们今天能做到这个程度,一定程度上也是对 SD 的实践是远多于其他人。
" 它的边界在哪里?我们试过的 case 是多于其他人的,所以当我们产品第一天上线的时候,可能别人还不太理解为什么能到这种效果。其实每次历史上都是有一波人他自己因为用的够多了,才会对这个东西有更好的理解,然后做的东西就不太一样。"
在 6 月中旬,谷歌也发布了用在虚拟试衣的 TryOn Diffusion,可以向顾客展示衣服在不同体型和尺寸的真实模特身上的效果。它基于扩散的框架,把两个 Parallel-Unet 统一起来,实现了对衣服细节的更好的把控。达到这个效果的一个重要方法,是基于谷歌自身算力资源进行的大量训练。
" 我们也看了它的研究,其实证明了这条路的前景,大厂用暴力证明这条路,后面开源社区会给它进一步实现。" 吴海波说。
虚拟试衣看起来离我们越来越近。
不过,在这样一个蓬勃发展的技术下,单独的一个产品不是最终的目的。WeShop 团队经常思考,什么才算是 AI native 的产品。
" 当然今天这个产品刚做出来还比较早期,但我们内部有一些想法,他们不一定对,但是更远。" 吴海波说。他相信 AI Agents 的方向,未来会是很多种 AI 工具最终结合到一起,有点像是一个 AI 管理的经理。
" 今天的大模型有点像一个常青藤毕业读了最多的书,有非常好的背景的学生,他什么都懂,什么都能跟你聊一聊,但他就是不知道你的业务问题是什么。" 他说。
"AI 的技术虽然很强,但它总是要有某个流程把它串在一起。怎么串可能现在还不知道,但我们先把一些特定的场景做出来,可能谁第一个找到这个业务流程中数据闭环或者业务闭环,找到能跟 AI 之间反馈并且直接迭代的,谁就有了最深的壁垒。"
责任编辑:hnmd003
相关阅读
相关阅读
-
驯服调皮的 Diffusion,就能让服装卖家们不再为请模特发愁了!
产品简介:简单来说,Weshop就是一键给服装商品配个模特的AI工具。用户
-
数十家大公司限制员工使用 ChatGPT,包括苹果、亚马逊等
钛媒体App7月12日消息,据市场消息,一些大公司正在限制其员工对OpenAI
-
喜马拉雅纪行|走向杰罗布,遇见云雾雨雪间的“美丽”
盘旋弯绕向上,盘旋弯绕向下,不知走了多久,汽车扎进了喜马拉雅群山的
-
西藏阿里:玛旁雍错湖畔唱响警民“和谐歌”
购买生活用品、送衣服、嘘寒问暖……近日,西藏阿里边境管理支队霍尔边
-
北京专家在西藏乡村义诊:愿发挥所长服务当地民众
“这里的老百姓可能很少会离开本地,对于我个人而言,我希望能通过自己
-
乌苏村探访记
那曲河,在清代称为“哈拉乌苏”(出自蒙古语),意为黑色的河。那曲河
-
7月12日生意社磷矿石基准价为926.00元/吨
7月12日,生意社磷矿石基准价为926 00元 吨,与本月初(942 00元 吨)相
-
盛世中华 何以中国丨《天选之都》和你共话古都前世今生
点击图片看视频《古都对话》第一季“古都正青春”见证过去,参与未来,
-
在校学生有医疗保险吗?怎么报销?
有。为了保障在校学生的健康权益,我国政府出台了一系列的政策和措施,
-
少儿医保保险是什么?保险范围是什么?
少儿医保属于居民医保的一种。一般面向的是未满18周岁的少年、儿童,当
-
平安百万医疗e生保报销比例是什么?怎么报销?
平安百万医疗e生保的报销比例是根据不同的医疗项目而定的。一般来说,
-
学生幼儿住院医疗保险条款是什么?怎么报销?
保险责任范围:学生幼儿住院医疗保险主要针对学生和幼儿在住院期间的医
-
百万医疗可以报销检查费吗?可以报销哪些费用?
百万医疗保险通常可以报销一部分或全部的检查费用。具体的报销比例和范
-
【国际快讯】奔驰Q2纯电销量大涨123%;吉利和雷诺成立合资公司;雷诺品牌上半年全球销量增长11%
【国际快讯】奔驰Q2纯电销量大涨123%;吉利和雷诺成立合资公司;雷诺品
-
开创“莓”好产业 助力集体增收
走进达茂旗乌克忽洞镇二里半村草莓采摘园,整齐排列的大棚尽收眼底。走
-
第十届内蒙古少数民族传统体育运动会 包头市代表队在沙嘎表演项目中荣获团体第二名
7月9日,第十届内蒙古少数民族传统体育运动会新设的表演项目——沙嘎在
-
内蒙古中青年作家采风团来包采风
7月10日至11日,由内蒙古文联主办的“到火热的生产一线去”内蒙古中青
-
呼包鄂乌城市智能体联合开发专项协调小组第二次会议在我市召开
7月11日,呼包鄂乌城市智能体联合开发专项协调小组第二次会议在我市召
-
校园开放日 提前感受高中生活
中考成绩公布不久,为方便广大考生和家长咨询,让考生和家长更直观地了
-
广东省商务厅回应热点问题:琶洲年底开通至澳门氹仔航线
琶洲港澳客运码头。琶洲港澳客运码头开通后,班次与航线将有哪些新计划
-
岗位+86万个!人社部再推四个专场招聘
岗位+86万个!人社部再推四个专场招聘岗位+86万个!人社部再推四个专场
-
美股收评:三大指数集体收涨,动视暴雪涨超 10%,大型科技股多数收涨
钛媒体App7月12日消息,美股三大指数集体收涨,截至收盘,道琼斯指数涨
-
涉嫌非法采集用户数据训练 AI,谷歌面临隐私侵权诉讼
钛媒体App7月12日消息,谷歌当前正面临一项广泛的集体诉讼,这家科技巨
-
数字确权概念股 Shutterstock 官宣与 OpenAI 扩大合作
品玩7月12日讯,据财联社报道,美股上市公司Shutterstock发布公告宣布
-
美团 App 首页上线直播固定入口,本地实体门店为直播主力供给
品玩7月12日讯,据新浪科技报道,在美团App首屏推荐位出现美团直播固定
-
只有比亚迪,才能救奥迪?
出品|虎嗅汽车组作者|李文博编辑|周到头图|微博1988年,当德国奥迪
-
985 医学硕士:三甲进不去,县医院瞧不上
文|表外表里,作者|王熙媛、曹宾玲、付晓玲,编辑|Reno两次踏进同一
-
偷窃橄榄油等3件商品,日本大阪大学教授涉嫌超市行窃被抓
据日本《每日新闻》11日报道,三田警署透露,超市保安人员在巡逻时,发
-
破解新能源汽车充电难关
破解新能源汽车充电难关
-
香港保险缴费方式大放送,八种方式,总有适合你的!
今天给大家介绍一下买香港保险的八种缴费方式:分别是现金缴费、香港账
精彩推荐
阅读排行
精彩推送
- 香港保诚2022理赔报告解析,理赔...
- 曝光!小鹏智慧场景功能14日内测...
- 奥迪向中国车企低头
- 以法拉利488 GT3 EVO 2020为...
- 全新Model 3硬件四大改变,为FS...
- 1.5T发动机+前后双电机 岚图追...
- 我市召开再生水试点示范城市实施...
- 荣耀 Magic V2 今晚发布!直...
- 美股三大指数集体收涨,热门中概...
- 环球市场:国际油价重回十周高位...
- 1.2 万影视人扎堆横店 租赁业火爆
- 这款“夏日限定”美味,涨价了!
- 低价团购“大餐”到底便宜了谁?
- 判赔 3.17 亿!知名公司:上诉!
- 怎样写好读后感五年级(怎样写好...
- 中央气象台7月12日06时继续发布...
- 儿童电话手表,玩得比手机还花!
- 再让 AI 大厂这么“偷”下去,...
- 下一代小尺寸直屏旗舰中杯,还得...
- 亚马逊中国,居然还活着?
- MIX Fold 3 曝光,小米补上了...
- 市州观察丨自贡上半年签约落地项...
- 奈雪烧钱扩店,亏损困局难解
- 爱奇艺TV客户端被曝白嫖电视机
- 福建海峡银行漳州分行副行长高宁...
- 7月11日基金净值:湘财长源股票...
- yg娱乐公司旗下艺人(yg公司旗下...
- Canalys:全球 PC 市场 Q2 ...
- 动察:ADS 2.0 及鸿蒙智能座舱...
- 这届打工人如何解压?用手机攒功...