Vision Pro 带来了一些新东西 Apple Silicon，R1 芯片专用于所有板载传感器的实时数据处理。 它负责眼睛、手和头部跟踪、视频直通模式下用户环境的无延迟渲染以及其他visionOS功能。

通过减轻 CPU 的处理负载并优化性能，无论耳机是在增强现实还是虚拟现实模式下使用，R1 都能将晕动症降低到难以察觉的水平。 让我们探讨一下如何做到这一点 Apple R1 芯片的工作原理与主 M2 芯片相当，Vision Pro 具有它支持的功能等等。

苹果的R1芯片是什么？ 它是如何工作的？

这 Apple R1（不是主 M2 芯片）处理通过其 12 个摄像头、5 个传感器和 6 个麦克风馈送到 Vision Pro 的连续实时数据流。

图片来源： Apple

两个外部主摄像头记录您的世界，每秒传输超过十亿次 Pixel 到耳机的 4K 屏幕。 此外，两个侧面摄像头以及两个底部安装的摄像头和两个红外照明器可以跟踪各种位置的手部运动，即使在弱光条件下也是如此。

外向传感器还包括 LiDAR 扫描仪和 AppleVision Pro 的 TrueDepth 摄像头，后者可捕获周围环境的深度图，并允许 Vision Pro 准确定位空间中的数字对象。 在内部，每个屏幕周围都有一个 LED 环，两个红外摄像头会跟踪您的眼球运动，这是 VisionOS 导航的基础。

R1 的工作是以难以察觉的延迟处理来自所有这些传感器（包括惯性测量单元）的数据。 这对于让房间体验流畅且可信至关重要。

这是如何运作的 Apple R1 与 M1 和 M2 对比？

图片来源： Apple

M1 和 M2 是针对以下用途进行优化的通用处理器 Mac 电脑。 R1 是一款窄焦协处理器，专为流畅的 AR 体验而设计。 它比 M1 或 M2 更快地完成工作，并提供无延迟体验等优势。

Apple 没有具体说明R1有多少个CPU和GPU核心，也没有详细说明CPU频率和RAM，这使得R1、M1和M2之间的直接比较变得困难。

R1 的主要领域是眼睛和头部跟踪、手势以及通过 LiDAR 传感器进行实时 3D 绘图。 通过卸载这些计算密集型操作，M2 可以高效运行各种visionOS 子系统、算法和应用程序。

Vision Pro R1芯片的主要特性

R1 具有以下主要特性：

  • 快速处理： R1 中的特殊算法和图像信号处理针对理解传感器、摄像头和麦克风输入进行了优化。
  • 等待时间短： 优化的硬件架构带来非常低的延迟。
  • 能源效率： 得益于其有效的内存架构和台积电的 5nm 制造工艺，R1 以最低的功耗完成一组特定的任务。

另一方面，Vision Pro 的双芯片设计和 R1 的先进性造就了这款耳机的高价格和两小时的电池续航时间。

R1 为 Vision Pro 提供了哪些优势？

R1 能够实现精确的眼部和手部追踪，“恰到好处”。 例如，要导航 VisionOS，请将目光转向按钮和其他元素。

图片来源： Apple

Vision Pro 使用手势来选择项目、滚动等。 眼睛和手部跟踪的复杂性和精确性使苹果工程师能够创造出不需要物理控制器的混合现实耳机。

R1 的跟踪精度和最小延迟可实现虚拟键盘上的空气输入等附加功能。 R1 还支持可靠的头部跟踪——对于创建围绕用户的空间计算表面至关重要。 同样，精度是关键 – 无论您如何倾斜和转动头部，您都希望所有 AR 对象都保持其位置。

图片来源： Apple

空间意识是有助于体验的另一个因素。 R1 从 LiDAR 传感器和 TrueDepth 摄像头捕获深度数据并执行实时 3D 测绘。 深度信息使耳机能够了解周围环境，例如墙壁和家具。

这对于 AR 持久性也很重要，AR 持久性是指虚拟对象的固定放置。 它还可以帮助 Vision Pro 在遇到物理物体之前通知用户，有助于降低 AR 应用中发生事故的风险。

R1传感器融合如何缓解AR晕动症？

Vision Pro 的双芯片设计减轻了主 M2 芯片的传感器处理负担，该芯片运行 VisionOS 操作系统和应用程序。 根据 Vision Pro 新闻稿R1 在 12 毫秒内将图像从外部摄像头传输到内部显示器，比眨眼速度快八倍，从而最大限度地减少延迟。

延迟是指摄像头看到的内容与耳机 4K 屏幕上显示的图像之间的延迟。 延迟越短越好。

当大脑从眼睛获得的输入与内耳感知的输入之间存在明显的滞后时，就会发生晕动病。 它可能发生在很多情况下，包括去游乐园、乘船或游轮旅行、使用 VR 设备等。

VR会因感觉冲突而使人生病，导致晕动病症状，如迷失方向、恶心、头晕、头痛、眼睛疲劳、久坐、呕吐等。

由于眼睛疲劳，VR 也会对您的眼睛造成伤害。 症状包括眼睛酸痛或发痒、复视、头痛和颈部疼痛。 有些人可能会在摘下耳机数小时后出现一种或多种症状。

根据经验，VR 设备应至少每秒刷新显示 90 次 (FPS)，并且屏幕延迟应低于 20 毫秒，以避免晕动症。

R1 指定的延迟仅为 12 毫秒，可将延迟降低到难以察觉的水平。 虽然 R1 有助于最大限度地减少晕动病的影响，但一些 Vision Pro 测试人员报告在佩戴耳机超过 30 分钟后出现了晕动病症状。

专门 Apple 硅协处理器带来巨大好处

Apple 对于专用处理器并不陌生。 多年来，芯片团队制造了令业界羡慕的移动和桌面芯片。

Apple 硅芯片严重依赖专用协处理器来处理特定功能。 Secure Enclave 管理安全的生物识别和支付数据，例如神经引擎可在不损坏电池的情况下加速 AI 功能。

它们是通过高度集中的协处理器来完成正确的任务而不是使用主处理器来完成所有任务可以实现的完美示例。