每日消息!NeRF 新研究来了:3D 场景无痕移除不需要对象,精确到毛发
2023-06-03 14:23:41来源:ZAKER科技
机器之心报道
机器之心编辑部
神经辐射场(Neural Radiance Fields,简称 NeRF)已经成为一种流行的新视角合成方法。尽管 NeRF 迅速适应了更广泛的应用领域,但直观地编辑 NeRF 场景仍然是一个待解决的挑战。其中一个重要的编辑任务是从 3D 场景中移除不需要的对象,以使替换区域在视觉上是合理的,并与其上下文保持一致。本文提出了一种新颖的 3D 修复方法来解决这些挑战。
(相关资料图)
神经辐射场(NeRF)已经成为一种流行的新视图合成方法。虽然 NeRF 正在快速泛化到更广泛的应用以及数据集中,但直接编辑 NeRF 的建模场景仍然是一个巨大的挑战。一个重要的任务是从 3D 场景中删除不需要的对象,并与其周围场景保持一致性,这个任务称为 3D 图像修复。在 3D 中,解决方案必须在多个视图中保持一致,并且在几何上具有有效性。
本文来自三星、多伦多大学等机构的研究人员提出了一种新的三维修复方法来解决这些挑战,在单个输入图像中给定一小组姿态图像和稀疏注释,提出的模型框架首先快速获得目标对象的三维分割掩码并使用该掩码,然后引入一种基于感知优化的方法,该方法利用学习到的二维图像再进行修复,将他们的信息提取到三维空间,同时确保视图的一致性。
该研究还通过训练一个很有挑战性的现实场景的数据集,给评估三维场景内修复方法带来了新的基准测试。特别是,该数据集包含了有或没有目标对象的同一场景的视图,从而使三维空间内修复任务能够进行更有原则的基准测试。
论文地址:https://arxiv.org/pdf/2211.12254.pdf论文主页:https://spinnerf3d.github.io/
下面为效果展示,在移除一些对象后,还能与其周围场景保持一致性:
本文方法和其他方法的比较,其他方法存在明显的伪影,而本文的方法不是很明显:方法介绍作者通过一种集成的方法来应对三维场景编辑任务中的各种挑战,该方法获取场景的多视图图像,以用户输入提取到的 3D 掩码,并用 NeRF 训练来拟合到掩码图像中,这样目标对象就被合理的三维外观和几何形状取代。现有的交互式二维分割方法没有考虑三维方面的问题,而且目前基于 NeRF 的方法不能使用稀疏注释得到好的结果,也没有达到足够的精度。虽然目前一些基于 NeRF 的算法允许去除物体,但它们并不试图提供新生成的空间部分。据目前的研究进展,这个工作是第一个在单一框架中同时处理交互式多视图分割和完整的三维图像修复的方法。
研究者利用现成的、无 3D 的模型进行分割和图像修复,并以视图一致性的方式将其输出转移到 3D 空间。建立在 2D 交互式分割工作的基础上,作者所提出的模型从一个目标对象上的少量用户用鼠标标定的图像点开始。由此,他们的算法用一个基于视频的模型初始化掩码,并通过拟合一个语义掩码的 NeRF ,将其训练成一个连贯的 3D 分割。然后,再应用预先训练的二维图像修复到多视图图像集上,NeRF 拟合过程用于重建三维图像场景,利用感知损失去约束 2 维画图像的不一致,以及画深度图像规范化掩码的几何区域。总的来说,研究者们提供了一个完整的方法,从对象选择到嵌入的场景的新视图合成,在一个统一的框架中对用户的负担最小,如下图所示。
综上所述,这篇工作的贡献如下:一个完整的 3D 场景操作过程,从用户交互的对象选择开始,到 3D 修复的 NeRF 场景结束;
将二维的分割模型扩展到多视图情况,能够从稀疏注释中恢复出具有三维一致的掩码;
确保视图一致性和感知合理性,一种新的基于优化的三维修复公式,利用二维图像修复;
一个新的用于三维编辑任务评估的数据集,包括相应的操作后的 Groud Truth。
具体到方法上面,该研究首先描述了如何从单视图注释中初始化一个粗略的 3D 掩码。将已标注的源代码视图表示为 I_1。将对象和源视图的稀疏信息给一个交互式分割模型,用来估计初始源对象掩码。然后将训练视图作为一个视频序列,与一起给出一个视频实例分割模型 V ,以计算,其中是 I_i 的对象掩码的初始猜测。初始的掩码通常在边界附近是不准确的,因为训练视图实际上并不是相邻的视频帧,而视频分割模型通常是未知 3D 的。
多视图分割模块获取输入的 RGB 图像、相应的相机内在和外部参数,以及初始掩码去训练一个语义 NeRF 。上图描述了语义 NeRF 中使用的网络;对于点 x 和视图目录 d,除了密度 σ 和颜色 c 外,它还返回一个 pre-sigmoid 型的对象 logit,s ( x ) 。为了其快速收敛,研究者使用 instant-NGP 作为他们的 NeRF 架构。与光线 r 相关联的期望客观性是通过在等式中呈现 r 上的点的对数而不是它们相对于密度的颜色而得到的:然后使用分类损失进行监督:用于监督基于 NeRF 的多视图分割模型的总体损失为:最后,采用两个阶段进行优化,进一步改进掩码;在获得初始三维掩码后,从训练视图呈现掩码,并用于监督二次多视图分割模型作为初始假设(而不是视频分割输出)。
上图显示了视图一致的修复方法概述。由于数据的缺乏妨碍了直接训练三维修改修复模型,该研究利用现有的二维修复模型来获得深度和外观先验,然后监督 NeRF 对完整场景的渲染拟合。这个嵌入的 NeRF 使用以下损失进行训练:该研究提出具有视图一致性的修复方法,输入为 RGB。首先,该研究将图像和掩码对传输给图像修复器以获得 RGB 图像。由于每个视图都是独立修复的,因此直接使用修复完的视图监督 NeRF 的重建。本文中,研究者并没有使用均方误差(MSE)作为 loss 生成掩码,而是建议使用感知损失 LPIPS 来优化图像的掩码部分,同时仍然使用 MSE 来优化未掩码部分。该损失的计算方法如下:
即使有感知损失,修复视图之间的差异也会错误地引导模型收敛到低质量几何(例如,摄像机附近可能形成 " 模糊 " 几何测量,以解释每个视图的不同信息)。因此,研究员使用已生成的深度图作为 NeRF 模型的额外指导,并在计算感知损失时分离权值,使用感知损失只拟合场景的颜色。为此,研究者使用了一个对包含不需要的对象的图像进行了优化的 NeRF,并渲染了与训练视图对应的深度图。其计算方法是用到相机的距离而不是点的颜色代替的方法:然后将渲染的深度输入到修复器模型,以获得修复完的深度图。研究发现,使用 LaMa 进行深度绘制,如 RGB,可以得到足够高质量的结果。这个 NeRF 可以是与用于多视图分割的相同模型,若使用其他来源来获取掩码,如人工注释的掩码,一个新的 NeRF 将被安装到场景中。然后,这些深度图被用来监督已修复的 NeRF 的几何形状,通过其渲染深度到修复的深度的距离:实验结果多视图分割:首先评估 MVSeg 模型,没有任何编辑修复。在本实验中,假设稀疏图像点已经给出了一个现成的交互式分割模型,并且源掩码是可用的。因此,该任务是将源掩码传输到其他视图中。下表显示,新模型优于 2D(3D 不一致)和 3D 基线。此外研究者提出的两阶段优化有助于进一步改进所得到的掩码。
定性分析来说,下图将研究人员的分割模型的结果与 NVOS 和一些视频分割方法的输出进行了比较。与 3D 视频分割模型的粗边相比,他们的模型降低了噪声并提高了视图的一致性。虽然 NVOS 使用涂鸦(scribbles)不是研究者新模型中使用的稀疏点,但新模型的 MVSeg 在视觉上优于 NVOS。由于 NVOS 代码库不可用,研究人员复制了已发布的 NVOS 的定性结果(更多的例子请参见补充文档)。下表显示了 MV 方法与基线的比较,总的来说,新提出的方法明显优于其他二维和三维修复方法。下表进一步显示,去除几何图形结构的引导会降低已修复的场景质量。定性结果如图 6、图 7 所示。图 6 表明,本文方法可以重建具有详细纹理的视图一致场景,包括有光泽和无光泽表面的连贯视图。图 7 表明, 本文的感知方法减少了掩码区域的精确重建约束,从而在使用所有图像时防止了模糊的出现,同时也避免了单视图监督造成的伪影。THE END转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
责任编辑:hnmd003
相关阅读
-
每日消息!NeRF 新研究来了:3D 场景无痕移除不需要对象,精确到毛发
机器之心报道机器之心编辑部神经辐射场(NeuralRadianceFields,简称NeRF)已经成为一种流行的新视角合成方
2023-06-03 -
全球热门:首战告捷!索尼荣登京东游戏电视畅销榜榜首,X91K/X91L 系列爆款促销中
618现已火热开启,电视影音类目迎来成交新高峰,京东开门红30秒成交金额就破了亿,4小时内游戏电视成交订单
2023-06-03 -
-
-
上海人工智能研究院执行院长宋海涛:未来三年 AI 技术对全行业渗透率将超 20%
品玩6月2日讯,在2023长三角·嘉善现代服务业(上海)推介会上,上海人工智能研究院执行院长宋海涛在演...
2023-06-03 -
相关阅读
-
每日消息!NeRF 新研究来了:3D 场景无痕移除不需要对象,精确到毛发
机器之心报道机器之心编辑部神经辐射场(NeuralRadianceFields,简称NeRF)已经成为一种流行的新视角合成方
-
全球热门:首战告捷!索尼荣登京东游戏电视畅销榜榜首,X91K/X91L 系列爆款促销中
618现已火热开启,电视影音类目迎来成交新高峰,京东开门红30秒成交金额就破了亿,4小时内游戏电视成交订单
-
热头条丨下一个“英伟达”:博通?
英伟达不是AI淘金浪潮下的唯一卖铲人,博通即将成为下一个英伟达?6月2日,在博通公布了超预期的财报后,华
-
经营业绩承压 阳光照明:将加大智能无主灯品牌投入 环球实时
财联社6月3日讯(记者汪斌)市场竞争加剧,叠加疫情和楼市调整,去年阳光照明(600261 SH)遭遇了上市22年
-
即时看!这一万亿行业将迎新机遇!锂电池不再“一家独大”?
作者丨彭硕编辑|朱益民在新能源发展的催生下,万亿级储能赛道呈现一片欣欣向荣景象。然而,正当外界为储能
-
当前速讯:B 站危险了
出品|虎嗅商业消费组作者|黄青春题图|视觉中国当爱奇艺、快手纷纷爬出亏损的泥潭,市场越发期待哔哩哔哩
-
国寿盛世尊享年金保险怎么样?保障什么? 每日速讯
还是不错的。国寿盛世尊享年金保险是一款长期的储蓄型保险产品,客户可以选择缴纳一定的保费,享受一定的保
-
年金保险irr计算器怎么使用?使用要注意什么?
首先,需要输入一些基本信息,如投资金额、投资期限、年金金额等。然后,点击计算按钮,就可以得出投资回报
-
年金保险的优点和缺点是什么?值得购买吗?
优点:提供稳定的养老收入:年金保险可以为投保人提供一定的养老收入,保障其晚年生活。缺点:存在通货膨胀
-
实在没钱了怎么提取养老金?提取养老金需要什么材料?
个人需准备相关证明材料,社保机构或相关部门会对个人的申请进行审核和核实,如果个人选择分期领取养老金,
-
泰康年金险有必要买吗?有什么优点?
根据个人需求和经济能力来确定是否购买泰康年金险。泰康年金险的保费较高,对于经济能力较差的家庭可能会带
-
消息称小米汽车再换阵:前麦格纳高管黄振宇接管供应链
据36氪PowerOn报道,近日,小米汽车公布了多项高层职务调整。其中,汽车部副总裁黄振宇兼任汽车部供应链
-
快资讯丨平安人寿保险重大疾病险介绍,包括哪些疾病?
目前,平安人寿推出了多款热销重疾险产品,包括盛世福(尊悦版)重大疾病保险、盛世福(优悦版)重大疾病保险、
-
华夏保险常春藤全能版怎么样?保什么?
重大疾病分六组可多次赔付,暖心重疾保障;首次患合同约定轻、中、重疾,豁免后续保费;满期后如若没有赔付
-
年金险利率计算公式是什么?年金险利率一般是多少? 世界今头条
保险年金利率=(保险公司的投资收益率-管理费用)×(1-手续费率);其中,保险公司的投资收益率是指保险公司从
-
世界播报:农银人寿万物生重大疾病保险保什么?怎么样?
农银人寿万物生重大疾病保险对被保险人罹患的70种重大疾病进行赔付,其中包括恶性肿瘤、白血病、心脏瓣膜手
-
【全球时快讯】国寿美满人生年金保险分红型怎么样?值得投保吗?
该产品支持出生30天~60周岁的人投保,缴费方式只有年交这一种选择,但消费者可以根据自己的需求选用三年、
-
简讯:长江生态大保护 小小绿色共成长,培养儿童环保意识
5月31日,浦江边检站妇委会联合长江11号主题邮局、上海河口科技馆和上海布鲁可积木科技有限公司等,组织开
-
上海人工智能研究院执行院长宋海涛:未来三年 AI 技术对全行业渗透率将超 20%
品玩6月2日讯,在2023长三角·嘉善现代服务业(上海)推介会上,上海人工智能研究院执行院长宋海涛在演...
-
【全球热闻】人类被 AI “毁灭”,一定是从教它玩《我的世界》开始的
上周,几乎是前后脚,英伟达和国内几家科研机构分别发布了两份内容相似的论文。首先是英伟达宣布开发出了一
-
每日热闻!索尼 ZV-1 II 「vlog」相机上手初体验
索尼在2023年5月23日晚发布了新一代超广角变焦Vlog相机ZV-1II,这款相机是2020年发布的ZV-1的第二代产品,
-
亳州药都农商行原董事长许绍普被查,安徽农信系统反腐风暴持续
6月2日,据安徽纪检监察网消息,亳州药都农村商业银行股份有限公司原党委书记、董事长许绍普涉嫌严重违纪违
-
当前滚动:担忧无人机袭击 俄罗斯将暂停黑海港口塔曼的液化石油气业务
财联社6月3日讯(编辑史正丞)据媒体周五援引多位消息人士报道,俄罗斯位于黑海的塔曼港将暂停液化石油气(
-
重磅!国产首款带状疱疹疫苗正式上市!适用人群扩龄至 40 岁及以上
6月3日,在中国疫苗行业协会主办的水痘-带状疱疹病毒全生命期预防策略学术研讨会上,长春百克生物科技股份
-
天天快报!乌农业部长:若黑海粮食协议破裂 乌克兰将祭出备用计划
财联社6月3日讯(编辑夏军雄)当地时间周五(6月2日),乌克兰农业政策与粮食部长索利斯基表示,如果俄罗斯
-
让所有事情事半功倍的方法-环球快看点
让所有事情事半功倍的方法,决定我们生命的大部分,其实是无意识的决策和选择。
-
天天精选!佛医保和百万医疗的区别是什么?哪个好?
保障金额不同,佛医保的保障金额高达50万元,而百万医疗的保障金额则是100万元。可以看出,百万医疗的保障
-
年金险的八大功能是什么?多少钱一年?_世界聚焦
1、提供稳定的收入来源:年金险购买后,可以在规定的时间内获得一定的固定收益,因此可以作为一种稳定的收
-
百万医疗有没有宽限期?有什么作用?_热资讯
并不是所有的保险都有宽限期,百万医疗险多为一年期的保险产品,是没有保险宽限期的。如果您想了解是否可以
-
全球快看:中信保诚年金险怎么样?保什么?
中信保诚年金险作为一种长期储蓄计划和退休计划,对于想要规划自己未来的客户非常有利。这个保险产品具有诸
精彩推荐
阅读排行
精彩推送
- 年金险安全吗?年金险怎么买?|...
- 每日热闻!警方正调查男童之母坠...
- 报道称半藏森林克隆人年入可达72万
- 小狗进入美发店被店员装麻袋摔死...
- 大杯超大杯更划算?iPhone 15 ...
- 人类被 AI “毁灭”,一定是从...
- 众泰董事长请辞:复制别人一时爽...
- 环球今头条!“车内打伞”名场面...
- 机器人如何担任私募基金经理? ...
- 当前热议!被指参与监控俄罗斯 i...
- 原行长辞职后被认定“不称职”,...
- 环球关注:罗永浩“三嫁”,京东...
- 外媒:美财政部高官会见中国大使...
- 全球热文:咸安统计局:开展经济...
- 福满满养老年金险好不好?收益高...
- 光大永明福运连年(B款)年金保险...
- 年金保险属于寿险吗?适合什么人...
- 环球消息!逸享人生年金保险怎样...
- 高库存压顶,lululemon欲瓜分耐...
- 岁岁盈盈年金保险条款是什么?到...
- 【播资讯】“新包头 新青年”作...
- “最严”婴幼儿配方奶粉国标倒逼...
- 微软、谷歌、英伟达领军,红得发...
- 华为余承东:要用完美主义精神做...
- “应战” 618,小红书派出“有...
- 悦安新材:6月2日融资买入459.05...
- 众安保险退保的钱能要回来吗?退...
- 平安少儿保险是什么?一年需要多...
- 聚焦:国寿瑞鑫两全保险怎么样?...
- 六十岁以上的老人买什么保险?买...