近日,美国专利商标局正式授予苹果一项与 Apple Vision Pro 主要功能相关的专利:手部追踪和手指手势。
苹果专利指出,沉浸感的质量取决于几个重要因素。例如,显示器的特性,如图像质量、帧率、像素分辨率、高动态范围 (HDR)、持久性和纱窗效应(即屏幕上像素之间的可见线)。当显示的视野太窄或各种追踪功能缓慢和 / 或不准确(导致定向障碍和恶心;也称为晕动症)时,沉浸式体验的质量会降低。
头部位置追踪(从这里开始称为位置追踪)旨在估计 HMD 在环境中的位置和方向,必须既低延迟又准确。这样做的原因是渲染的图形必须与用户的头部运动紧密匹配,以便在 VR 中产生高质量的沉浸感,并且需要在 MR 中正确对齐现实世界中的虚拟内容。
用户身体追踪估计用户身体(但不限于手和手指)相对于 HMD 的位置和方向。它可以在 VR 和 MR 中提供一种用户输入方式(例如手势),从而实现与虚拟元素的交互。虽然一些位置追踪方法也可用于手部追踪(例如,手持控制器上带有 LED 阵列的红外摄像头),但其他方法利用较小的分析空间(通常距离 HMD 一米以内)来提高手部和手指追踪算法的稳健性。
苹果专利图 1 是佩戴头戴式显示器(HMD)用户的示意图,该显示器配有多个摄像头和红外(IR)发射器;图 2A 是用于实现 VR 和 MR 的光学器件、显示器和摄像头的示例性实施方案的俯视图。
苹果专利图 4A 显示了 HMD 设备的第一个示例性实施方案的前视图,其中两个 RGB 摄像头针对透视目的(MR)进行了优化,两个红外摄像头为追踪提供了视觉数据;图 5 是实现 VR 的处理步骤的流程图,具有位置和用户身体追踪;图 8 是实现用户身体追踪的示例性过程的流程图。它还包括手势识别。
在 WWDC23 中,苹果官宣,头显产品名为“Apple Vision Pro”,运行全新的操作系统“visionOS”,搭载 M2 以及全新 R1 芯片。
设计方面,Vision Pro 的观感酷似滑雪镜、潜水眼镜,其外框采用铝合金框架,包含传感器、摄像头、显示屏和用风扇冷却的计算组件。头带和耳机面罩为纯织物材质,可以弯曲以适应各种脸型和头型。镜片方面,苹果与蔡司合作定制,生产的处方镜片可以磁性地附着在显示屏上,便于近视人士使用头显。屏幕方面,配备两块 4K micro OLED 屏幕,总共有 2300 万颗像素,每只眼睛分到的像素比 4K 电视还多。
苹果为 Vision Pro 设计了独特的双芯片设计,主芯片是我们熟悉的 M2,负责视觉算法与图像信息处理,让 Vision Pro 拥有更流畅的体验。同时为了处理 12 个相机、5 个传感器以及 6 个麦克风的信息,苹果还带来了一颗全新的 R1 芯片,让图像可以在 12 毫秒内同步到 Vision Pro 的屏幕上,几乎做到了没有延迟,就像一切发生在你面前一般。
伦茨科技拥有自主研发无线射频和低功耗蓝牙BLE5.2芯片并具有全球知识产权,针对AIoT物联网领域和个人消费者,提供蓝牙主控全集成芯片的「软硬件共性」解决方案及核心器件,配套全方位APP软件平台定制开发。所设计的蓝牙芯片方案应用于智能穿戴设备、蓝牙室内导航、智能家居、医疗健康、运动建身、数据传输、远程控制、个人外设及AIoT物联网等场景。(tingting是伦茨科技旗下品牌,主要是提供Apple Find My服务应用于各大物联网产品中)