XR 世界导览 027

2024/9/2

本期封面

本期封面，我们分享的是过去几周最火的 AI Code Editor——Cursor

刊首语

就在刚刚过去的一周，Apple 正式宣布其将会在北京时间 2024 年的 9 月 10 日凌晨 1 点举办特别活动，主题是 “It ‘s Glowtime”，并配上了下面这个非常迷幻的视频：

明眼人都知道这个视频的含义——这太像是 Apple 今年 WWDC 发布的新的 Siri 的效果了，看起来，此次 Apple 的硬件新品（虽然我们都知道是什么，但现在，让我们假装不知道吧😄）会和 AI——Apple Intelligence 有很深的关系了。

我们一直认为，XR 和 AI，一定是一对好搭档，所以今年的 WWDC 上看到 Apple Intelligence 和 visionOS 无缘时还是有点失望的（虽然不久后，无法方便使用到 Swift Assistant 的伤心😭就被 Cursor 治愈了😆，实测 Cursor 编写很多新的 visionOS 上的 RealityKit 代码也十分能打）

不过失望后仔细想想，这也符合 Apple 一贯的作风——新技术先在成熟平台上试水再扩展到其他平台，现在在 visionOS 上作为顶梁柱存在的 ARKit、RealityKit 也是在 iOS 平台上经过了多年的打磨最后才在 Apple Vision Pro 上大放异彩（这背后的故事，你可以回看一下开发 visionOS 前，你需要了解的 Apple AR 技术全景），不妨让我们耐心一点，一起期待明年的 WWDC 吧～

Recap

Vision Pro 上的手势匹配框架 HandVector 更新 2.0 了，新增 FingerShape 功能

关键词：visionOS、HandVector、Hand Tracking、FingerShape

在这篇文章中，我们为你介绍了 HandVector 2.0 的主要更新，包括：

更新了余弦相似度算法的计算方式，从基于手部 Anchor 空间改为基于父关节点的矩阵空间，提高了指尖向量的相似度计算。
新增了 FingerShape 功能，将手指形状化简为 5 个参数，包括卷曲度和分离度等，方便理解和调整。
更新了模拟器调试功能 SimHand，解决了 Google MediaPipes 3D 手势追踪只有关节点位置没有矩阵信息的问题。
对项目结构和 3D 关节样式进行了调整，代码结构更清晰，关节可视化更清晰。

News

Meta 决定关闭 Spark AR 特效平台

关键词：Meta、AR、Effect、Spark

最近 Meta 的“艰难决定”真是一个接一个，就在过去的一周的 8.27 当天，Meta 宣布其将会关闭旗下 AR 特效平台 Spark。

具体来说，从 2025 年的 1 月 14 日开始，第三方创作者将无法在 Spark 平台上（包括 Meta Spark Studio， Meta Spark Hub 和 Meta Spark Player）继续创作新的 AR 特效，同时第三方创作者制作的 AR 特效也会从 Meta 的平台上移除（包括 Facebook、Instagram 和 Messenger）。

我们在 002 期曾经为大家讲解过 Lens Studio 这个和 Meta Spark 作为竞品的工具，和 X 上的网友一样，我们也在唏嘘一个时代的落幕。

Surreal Touch 在 Kickstarter 上线了！

关键词：Controller、Apple Vision Pro

世界上第一个专门为 Apple Vision Pro 量身定做的手势控制器 Surreal Touch 已经在 Kickstarter 上正式上线了，并且已经达到了最低的募集金额。

利用 Surreal Touch，你可以使用 Apple Vision Pro 以 4K 90Hz 来畅玩 SteamVR 上的 VR 游戏，包括 Alyx 这样的经典之作，如果你对使用 Apple Vision Pro 玩 VR 游戏感兴趣，现在就可以以最低 $249 的价格来购买，预计交货时间为 2024 年 12 月。

App

Mixed Snow Worlds：把你的房间瞬间变成冰雪世界

关键词：Quest、MR

我们一直认为，仅仅是让玩家能看到现实世界，并不能称得上是混合现实——起码称不上优秀的混合现实。

而在 Mixed Snow Worlds 中，玩家在游玩游戏时，会看到游戏对玩家的周边环境进行扫描，并将对应的环境变换为一个冰雪大世界再开始下一步的游玩，这无疑大大增强了混合现实的临场体验感。

游戏目前在 Quest 应用商店提供免费下载，有兴趣的小伙伴可以下载下来尝试一下。

Tool

swift-translate：帮你翻译 App 中国际化文件的 CLI 工具

关键词：visionOS、i18n

如果你在做 visionOS 相关 App 的时候，想要做国际化，那么你可以尝试使用 swift-translate 这个工具来尝试简化工作流。这是一个命令行程序，可以帮助你将 Xcode 中的多语言字符串发给 ChatGPT 的后台并将字符进行替换。

Code

Quest Display Access Demo：获取 Quest 相机数据的新方法

关键词：Quest、Android MediaProjector API

众所周知，Quest 上的相机画面开发者正常是无法获取的，但，也众所周知，开发者还是有办法拿到的。之前就有开发者分享了他们的奇技淫巧——通过后台开启一个 Quest Mirror 页面来获取。

这一次，trev3d 又想到了一个好办法——直接用 Android MediaProjector API 来获取 Quest 上的相机画面。尽管这个方式可行，但也有一些小小的限制条件：

Quest v68 以上系统
使用 QuestLink 时无效
无法正常录制，需要使用类似 scrcpy 这样的工具来进行屏幕录制
由于不是正常的相机数据获取，所有的虚拟物体都会遮挡图片上的实体

完整的代码可以在 Github 上进行查看

本期贡献者

御姐

思琦

XR 基地