XR 世界导览 #027

AIxXR,一定是一对好搭档

本期封面

本期封面,我们分享的是过去几周最火的 AI Code Editor——Cursor

刊首语

就在刚刚过去的一周,Apple 正式宣布其将会在北京时间 2024 年的 9 月 10 日凌晨 1 点举办特别活动,主题是 “It 's Glowtime”,并配上了下面这个非常迷幻的视频:

明眼人都知道这个视频的含义——这太像是 Apple 今年 WWDC 发布的新的 Siri 的效果了,看起来,此次 Apple 的硬件新品(虽然我们都知道是什么,但现在,让我们假装不知道吧😄)会和 AI——Apple Intelligence 有很深的关系了。

我们一直认为,XR 和 AI,一定是一对好搭档,所以今年的 WWDC 上看到 Apple Intelligence 和 visionOS 无缘时还是有点失望的(虽然不久后,无法方便使用到 Swift Assistant 的伤心😭就被 Cursor 治愈了😆,实测 Cursor 编写很多新的 visionOS 上的 RealityKit 代码也十分能打)

不过失望后仔细想想,这也符合 Apple 一贯的作风——新技术先在成熟平台上试水再扩展到其他平台,现在在 visionOS 上作为顶梁柱存在的 ARKit、RealityKit 也是在 iOS 平台上经过了多年的打磨最后才在 Apple Vision Pro 上大放异彩(这背后的故事,你可以回看一下 开发 visionOS 前,你需要了解的 Apple AR 技术全景),不妨让我们耐心一点,一起期待明年的 WWDC 吧~

目录

Recap

  • Vision Pro 上的手势匹配框架 HandVector 更新 2.0 了,新增 FingerShape 功能

News

  • Meta 决定关闭 Spark AR 特效平台
  • Surreal Touch 在 Kickstarter 上线了!

App

  • Mixed Snow Worlds:把你的房间瞬间变成冰雪世界

Tool

  • swift-translate:帮你翻译 App 中国际化文件的 CLI 工具

Code

  • Quest Display Access Demo:获取 Quest 相机数据的新方法

Recap

Vision Pro 上的手势匹配框架 HandVector 更新 2.0 了,新增 FingerShape 功能

关键词:visionOS、HandVector、Hand Tracking、FingerShape

这篇文章 中,我们为你介绍了 HandVector 2.0 的主要更新,包括:

  1. 更新了余弦相似度算法的计算方式,从基于手部 Anchor 空间改为基于父关节点的矩阵空间,提高了指尖向量的相似度计算。
  2. 新增了 FingerShape 功能,将手指形状化简为 5 个参数,包括卷曲度和分离度等,方便理解和调整。
  3. 更新了模拟器调试功能 SimHand,解决了 Google MediaPipes 3D 手势追踪只有关节点位置没有矩阵信息的问题。
  4. 对项目结构和 3D 关节样式进行了调整,代码结构更清晰,关节可视化更清晰。

News

Meta 决定关闭 Spark AR 特效平台

关键词:Meta、AR、Effect、Spark

最近 Meta 的“艰难决定”真是一个接一个,就在过去的一周的 8.27 当天,Meta 宣布其将会关闭旗下 AR 特效平台 Spark

具体来说,从 2025 年的 1 月 14 日开始,第三方创作者将无法在 Spark 平台上(包括 Meta Spark Studio, Meta Spark Hub 和 Meta Spark Player)继续创作新的 AR 特效,同时第三方创作者制作的 AR 特效也会从 Meta 的平台上移除(包括 Facebook、Instagram 和 Messenger)。

我们在 002 期 曾经为大家讲解过 Lens Studio 这个和 Meta Spark 作为竞品的工具,和 X 上的网友 一样,我们也在唏嘘一个时代的落幕。

Surreal Touch 在 Kickstarter 上线了!

关键词:Controller、Apple Vision Pro

世界上第一个专门为 Apple Vision Pro 量身定做的手势控制器 Surreal Touch 已经在 Kickstarter 上正式上线了,并且已经达到了最低的募集金额。

利用 Surreal Touch,你可以使用 Apple Vision Pro 以 4K 90Hz 来畅玩 SteamVR 上的 VR 游戏,包括 Alyx 这样的经典之作,如果你对使用 Apple Vision Pro 玩 VR 游戏感兴趣,现在就可以以最低 $249 的价格来购买,预计交货时间为 2024 年 12 月。

App

Mixed Snow Worlds:把你的房间瞬间变成冰雪世界

关键词:Quest、MR

我们一直认为,仅仅是让玩家能看到现实世界,并不能称得上是混合现实——起码称不上优秀的混合现实。

而在 Mixed Snow Worlds 中,玩家在游玩游戏时,会看到游戏对玩家的周边环境进行扫描,并将对应的环境变换为一个冰雪大世界再开始下一步的游玩,这无疑大大增强了混合现实的临场体验感。

游戏目前在 Quest 应用商店提供免费下载,有兴趣的小伙伴可以下载下来尝试一下。

Tool

swift-translate:帮你翻译 App 中国际化文件的 CLI 工具

关键词:visionOS、i18n

如果你在做 visionOS 相关 App 的时候,想要做国际化,那么你可以尝试使用 swift-translate 这个工具来尝试简化工作流。这是一个命令行程序,可以帮助你将 Xcode 中的多语言字符串发给 ChatGPT 的后台并将字符进行替换。

Code

Quest Display Access Demo:获取 Quest 相机数据的新方法

关键词:Quest、Android MediaProjector API

众所周知,Quest 上的相机画面开发者正常是无法获取的,但,也众所周知,开发者还是有办法拿到的。之前就有开发者分享了他们的奇技淫巧——通过后台开启一个 Quest Mirror 页面来获取。

这一次,trev3d 又想到了一个好办法——直接用 Android MediaProjector API 来获取 Quest 上的相机画面。尽管这个方式可行,但也有一些小小的限制条件:

  • Quest v68 以上系统
  • 使用 QuestLink 时无效
  • 无法正常录制,需要使用类似 scrcpy 这样的工具来进行屏幕录制
  • 由于不是正常的相机数据获取,所有的虚拟物体都会遮挡图片上的实体

完整的代码可以在 Github 上进行查看

本期贡献者

御姐

思琦

Copyright © 深圳市虚实基地科技有限公司 粤ICP备2023104442号-2