苹果 visionOS 相关专利：可通过眼动追踪改进人机界面交互

昨天，美国专利商标局正式授予苹果一项与 Vision Pro 相关的专利，更具体地说，是与 visionOS 相关的专利。

苹果在其专利背景中指出，与至少包含一些虚拟元素（例如应用程序、增强现实环境、混合现实环境和虚拟现实环境）的环境进行交互的方法和接口繁琐、低效且有限。

(资料图片仅供参考)

例如，一些系统不能为执行与虚拟对象相关的操作提供足够的反馈，需要一系列输入才能在增强现实环境中实现预期结果，以及虚拟对象的操作复杂、乏味且容易出错的系统，会给用户带来重大的认知负担，并减损虚拟 / 增强现实环境的体验。此外，这些方法耗时过长，从而浪费能源。后一种考虑因素在电池供电设备中尤为重要。

苹果专利主要涵盖了苹果空间计算设备 Vision Pro 的 visionOS 各个方面。在一些实施例中，计算机系统具有一个或多个眼动追踪组件。在一些实施例中，计算机系统具有一个或多个手部追踪组件。

苹果指出，电子设备需要具有改进方法和界面来导航和与用户界面交互。这些方法和界面可以补充或取代用于在 3D 环境中与用户界面交互的传统方法。这些方法和界面减少了用户输入的数量、范围和 / 或性质，并产生了更高效的人机界面。

在一些实施例中，用户通过手指接触和手势、眼睛和手在空间中相对于 GUI 或用户身体的移动（由摄像头和其它运动传感器捕获），以及语音输入（由一个或多个音频输入设备捕获）与 GUI 交互。

在一些实施例中，电子设备至少基于检测用户注视在用户界面之间导航。在一些实施例中，电子设备增强了与用户界面控制元件的交互。在一些实施例中，电子设备以协调的方式滚动显示类别和子类别。在一些实施例中，电子设备以不同的方式从具有不同沉浸程度的用户界面向后导航。

这些系统、方法和 GUI 为电子设备在 3D 环境中与对象交互和操作提供了改进的方法。3D 环境任选地包括一个或多个虚拟对象、真实对象的一个或多个表示（例如，显示为真实对象的逼真表示或通过显示生成组件的透明部分对用户可见）和 / 或 3D 环境中用户的表示。

在一些实施例中，电子设备至少基于检测用户注视在用户界面之间导航。在一些实施例中，电子设备导航到与相应的用户界面元件相关联的用户界面，以响应于检测用户注视定向到各个用户界面元件的预定时间阈值（例如，0.1、0.2、0.3、0.4、0.5、1 秒等）。

在一些实施例中，响应于检测用户用他们的手执行手势，同时他们的目光被引导到相应的用户界面元件，电子设备会在少于预定时间阈值的时间内导航到用户界面。

无论是仅根据注视导航到用户界面，还是根据用户的注视和手势更快地导航到用户界面，都提供了以更少的输入或更短的时间导航到用户界面的有效方法。

在一些实施例中，控制元件包括可选选项，当选择时，使电子设备在包括控制元件的用户界面中执行操作。例如，控件元素包括一个导航栏，该导航栏包含用于导航到用户界面不同页面的可选选项。

在一些实施例中，响应于检测用户对控制元件的注视，电子设备会更新控制元件的外观（例如，放大、扩展、向控制元件添加细节）。以这种方式更新控制元件的外观提供了一种与控制元件交互的有效方法，以及一种在不与控制元件交互时与用户界面交互的方式，从而减少了视觉混乱。

在一些实施例中，电子设备以协调的方式滚动显示类别和子类别。在一些实施例中，电子设备同时显示类别的表示（例如，内容、文件、用户界面、应用程序等）和一个或多个类别内子类别的表示。

在一些实施例中，电子设备以不同的方式从具有不同沉浸程度的用户界面向后导航。在一些实施例中，用户界面的沉浸程度对应于与用户界面同时显示的对象（例如，虚拟对象、真实对象的表示）的数量以及除用户界面以外的对象的可见度。

在一些实施例中，电子设备以响应于各自输入的第一级沉浸感（例如，检测到用户注视前一个用户界面的表征达阈值时间）而离开用户界面。在一些实施例中，电子设备放弃了以第二、更高级别的沉浸感离开用户界面以响应于相应的输入。

在一些实施例中，电子设备会根据相应的输入（例如，检测到用户注视前一个用户界面的表征达阈值时间），导航离开具有第一级沉浸感的用户界面。在某些实施方案中，电子设备会根据相应的输入，放弃从具有更高沉浸度的第二级用户界面导航。

通过第一级沉浸感离开用户界面以响应相应的输入，并放弃使用第二级更高级别沉浸感来响应相应输入的用户界面，从而在具有第一级沉浸感的用户界面中提供便利，并减少用户界面对第二级的干扰，具有更高的沉浸感，使用户能够快速有效地使用电子设备。

苹果专利图 2 是说明计算机系统控制器的框图，该控制器配置为管理和协调用户的 CGR 体验，包括眼睛（#243）和手部追踪（#244）；图 5 是说明计算机系统的眼动追踪单元的框图，该计算机系统被配置为捕获用户的注视输入；图 9C 说明了电子设备（Vision Pro）通过显示生成组件在用户界面上显示 3D 环境。

苹果从不希望一项发明在使用上是单一的，至少在专利中是这样。因此，苹果指出，这项发明可以应用于其他未来的设备，如台式 Mac、iPad、iPhone 和 Apple Watch。