3D 动捕让卡通人物跳舞、机器人化身智能摄影师，索尼中国研究院大秀技术创新肌肉

智东西（公众号：zhidxcom）

(资料图片)

作者 | ZeR0

编辑 | 漠影

智东西 5 月 31 日报道，5 月 24 日 -28 日，以 " 奇境漫游 " 为主题的索尼大型品牌活动 "Sony Expo 2023" 在上海举行。本届展会上，索尼中国研究院旗下多项技术概念验证结合索尼人气娱乐 IP 内容的体验项目悉数亮相，包括结合 3D 内容生成和动作捕捉技术的 " 虚拟舞蹈实验室 "、可取代人力实现机械臂自动拍摄的 " 智能机械摄影室 "、以触觉反馈技术助力演唱会等欣赏体验的 " 沉浸式触觉剧场 " 等。

期间，索尼（中国）副总裁、索尼中国研究院院长竹中幹雄与智东西等媒体进行深入交流，分享索尼中国研究院技术研发的方向、举措以及阶段性成果。他谈道：" 中国是一个高速发展和充满无限可能性的市场，并且人才济济，在中国做研发能够更贴近本土的实际需求、加快研发成果的概念验证，从而推动实际落地。"

一、强化中国本土产学研合作，已发力 AIGC 方向，未来关注可持续发展

竹中幹雄说，索尼中国研究院的使命是 " 通过开展对索尼技术的应用研究，为中国社会和索尼的业务做出贡献 "，研发聚焦于三个方向——娱乐、移动出行和可持续发展。

索尼中国研究院于 2005 年在北京设立了第一个实验室，最近几年又设立了深圳和上海实验室，持续加大在中国的研发投入。其中，北京实验室主攻人工智能（AI）、无线通信方面的研究，上海实验室侧重研究 3D 内容制作，深圳实验室则侧重于传感器和机器人相关研发。

从短期来看，两到三年间，索尼中国研究院会特别聚焦在中国的娱乐（元宇宙）和移动出行领域，期待通过索尼的 AI、通信、传感、机器人、3D 内容制作等前端技术，结合索尼旗下影视、音乐、动画、游戏等丰富的娱乐内容，打造更加多样和可及的娱乐内容创作和欣赏解决方案。

竹中幹雄谈道，AI 内容创作和 AI 大模型研究是非常重要的前沿技术，将会给未来的互联网带来极大冲击，索尼中国研究院目前在 AIGC 方向发力较多。

从中长期来看，五到十年间，索尼中国研究院希望着眼于可持续发展，即利用现有的一些工业互联网 IoT 技术、传感器设备，再结合上索尼中国研究院开发的 AI 和无线移动通信的基础技术，应用在农业、老龄化、教育等一些中国现存的社会课题领域，运用索尼的技术在本土找到合适的合作伙伴，共同开发相应的解决方案，为中国社会的发展做出一些贡献。

▲索尼（中国）有限公司副总裁、索尼中国研究院院长竹中幹雄接受媒体采访

索尼中国研究院正在向应用型研究转型，把基础技术应用到实际场景和产品中，以其现有技术再加上其他技术进行一些适合中国国情的 PoC 验证，并会面向特定应用领域，在中国寻找合适的产学研合作伙伴来共同进行研究和开发。

竹中幹雄告诉智东西，通过与合作伙伴一起共同研究开发新的解决方案和新的应用，能够改进索尼中国研究院的技术。总结来说，基础技术研究这部分是由索尼中国研究院独自完成的，在基础研究上面一层的应用研究方向，索尼中国研究院希望能够积极地与外部合作伙伴共同开展。在明确想要在某个领域寻找合作伙伴时，索尼中国研究院会本着互补原则，主动提出邀约合作的提案，共同在中国推进某一项技术的发展。

二、将关键技术与现有产品融合，探索未来娱乐内容创作体验

在 Sony Expo 2023 上，索尼中国研究院以给创作者提供更多创作可能性和给用户提供多维娱乐体验为目标带来了三个主题体验项目。

这些项目展现了索尼中国研究院开发的关键技术与现有产品的融合与协同。其展台的体验内容和空间展示由索尼中国设计中心统筹设计开发，整个展台是索尼设计理念、前端技术、娱乐 IP 的一次融合和展示，是索尼对未来娱乐内容创作和体验的思考成果。

▲索尼中国研究院 Sony Expo 2023 展台全貌

（1）" 虚拟舞蹈实验室 " 体验区：参观者可以先进入绿幕拍摄区，拍下自己的真实三维形象，然后佩戴索尼的轻量级动作捕捉设备，跟着索尼大屏电视上的 RAYNOS-chan 卡通人物形象简单舞动，记录下自己的动作数据，经过索尼的系统生成加工后，就可以在索尼的空间现实显示屏上裸眼欣赏到自己的三维形象在 3D 空间中跳舞。

竹中幹雄谈道，这个项目用到了轻量级动作捕捉系统 mocopi、空间现实显示设备 Spatial Reality Display 两个既有产品，与自由视点体积捕捉拍摄技术（FVV）相结合，瞬间就能生成 3D 人物，从而创造一种全新的娱乐体验。索尼中国研究院会提出各种新的应用方法提案，然后进行实验价值验证。

该项技术已经于索尼在华的首个黑彩晶虚拟制作影棚开始了概念验证实验，将有望帮助内容创作者甚至普通用户以更轻量级、更可及的方式创造虚拟 3D 内容，将现实真实世界映射到元宇宙中。

（2）" 智能机械摄影室 " 体验区：参观者可在一个由索尼虚拟制作技术打造出的《尼尔：机械纪元》游戏场景中近距离接触游戏主角尤尔哈 B 型二号（YoRHa No.2 Type B）。选好游戏关卡背景后，拍摄机器人能够自动追踪并记录下参观者与尤尔哈的合照影像，并支持免费下载领取电子照片留念。

这是索尼中国研究院探索的机械臂在娱乐场景的用例，也是全场最大的一个体验区。拍摄机器人可智能化的完成追踪、对焦、构图、拍摄的功能，提供稳定的拍摄质量，极大节省人力。未来，索尼中国研究院将进一步在该概念验证中加入可实时移动的中小屏背景，打造更加轻量级，小面积空间可实现的虚拟制作解决方案。

▲在 " 智能机械摄影室 " 体验区，机器人正在给体验者拍照

（3）" 沉浸式触觉剧场 "：参观者可以站上特制的地板区域，观看电视中索尼音乐旗下艺人 LiSA 演唱会的精彩内容。地板上搭载了索尼的触觉反馈技术，使得参观者能与 LiSA 的歌声同频共振，通过不同波形的震动效果感受演唱会中的高潮起伏，实现 360 音频、视频、触感多维一体的沉浸式娱乐体验。

目前，触觉反馈技术已应用于索尼 PlayStation 5 游戏机的 DualSense 手柄、索尼 Xperia 智能手机的部分型号中。竹中幹雄说，索尼中国研究院考虑将这一技术应用于元宇宙空间中，尤其是在大型娱乐、体验型设施的应用，提供大型空间的沉浸式娱乐解决方案，现在已与国内部分合作伙伴在合作洽谈中。

▲索尼中国研究院 Sony Expo 2023 展台全貌

结语：技术研发创新是根本基石

索尼中国研究院在华领衔的首次出展，旨在对外沟通和交流索尼在华技术研发举措及阶段性成果，进一步贴近本土创意娱乐社群，携手更多优秀合作伙伴共同进行新时代下新应用场景的探索与实践。

竹中幹雄说，多元化的业务是索尼独特的优势，而技术研发创新是根本的基石，立足长远，索尼中国研究院关注的领域将更为广泛，如可持续发展等，会进一步开放对外交流，强化中国本土的产学研合作，以期更加融入和贡献于中国的产业升级和社会发展。