本期封面

本期封面，分享一个来自于 Vektora 的 visionOS 球赛直播 概念设计。

目录

BigNews

• Unity 的下一个版本将会被称为 Unity 6
• Spline 也支持了 Gaussian Splatting

Idea

• Tracking Craft：遥控赛车，你们可要小心了
• 手机版的 AR Cubism？

Tool

• sudo.ai： 一张照片 60 秒创建 3D 模型
• Swift Angel：能帮你用 Swift 开发 visionOS App 的 GPTs

Article

• Apple visionOS 及 iOS SwiftUI 开发（增强现实 AR）

Code

• Vision Pro Agora Sample App：声网 SDK 的 Vision Pro 集成 Demo
• Grape: 力模拟和图形可视化的 Swift 库
• GoncharKit: 专为 visionOS 上 RealityKit 开发的工具库

SmallNews

• Apple 放出了空间视频的示例
• Apple 新专利申请：Facetime 里的跨终端多人游戏，但是是实物（我手上真的有印刷的纸牌啊！)
• TikTok 将 AR 滤镜编辑加入手机版
• 微软：工业 AR AI 两手抓，事半功倍！
• Apple 新专利：从 Genius Bar 到你家客厅，用 AR 促进新品剁手

BigNews

Unity 的下一个版本将会被称为 Unity 6

“新官上任三把火”，这回，Unity 版本号可能就是新 CEO Jim Whitehurst 的第一把火？

从 2017 年开始，Unity 就将其版本号变为了以年份作为主版本的模式，例如 Unity 2017.1、2017.2、2017.3 等。这种命名方式一直持续到现在，例如 2020.3、2021.3 等。在此之前，无论是 2005 年的 Unity 1.0，还是 2016 年的 5.4 版本，Unity 采用的都是比较常见的纯数字版本号。

不过，在 Unite 2023 上，Unity 宣布 其下一个 Unity 版本将为 Unity 6，并将于 2024 年推出。

新 CEO 还表示他并不喜欢原本按照年份命名的版本模式：

Spline 也支持了 Gaussian Splatting

在 Newsletter 012 中我们提及到了 Gaussian Splatting 这项技术，在这项技术中，每个数据点被表示为一个具有高斯分布（或“斑点”）的形状，而不是一个单一的像素点或几何形状。这使得点云或数据集合可以以更平滑、更连续的方式呈现，从而提高视觉效果和数据解释的质量。一些 3D 扫描类的工具，例如 Polycam 和 Luma，也都支持了导出 Gaussian Splatting 格式的场景文件。

而在 Newsletter 001 我们就推荐过的 3D 在线设计工具 Spline，现在也 增加了对于 Gaussian Splatting 格式的支持。例如 这个作品 就是一个例子。

使用方式也很简单，只要把 Polycam 中的 .ply 文件，或者 Luma 中扫描到的 Gaussian Splat 结果直接拖入到 Spline 中（注意，不要直接在手机端导出 .ply 文件），就能够直接在 Spline 的场景中使用到 Gaussian Splatting 了，并且按照自己的需求进行一些边缘裁剪：

不过，由于 Gaussian Splatting 背后的渲染技术的不同，目前 Spline 中对其的支持还有一些局限，例如，尽管 Spline 可以对导入的 .ply 文件进行裁切和变换（位移、缩放、旋转），但是无法支持阴影、物理模拟、光线等特性。

不过在更新的最后，Spline 团队也表示，技术发展的是很快的，这些不兼容特性很可能在某一天就能够被解决，因此请大家不要灰心并保持对 Spline 的关注。

Idea

Tracking Craft：遥控赛车，你们可要小心了

嘿，小朋友，你想在你的客厅里玩遥控赛车吗？

在以前，可能只能让你的父母为你买很多小汽车或者轨道才能实现这个梦想，但是在 Tracking Craft 这个 MR App 这里，只要戴上 Quest 3，你就能够实现你的这个梦想了。

Tracking Craft 是一个让你驾驶遥控赛车通过一个个有趣关卡的 MR 游戏，玩家要做的就是通过预判关卡的各种物理设定，来让遥控赛车在限定时间内，从起点大门走到终点大门。

当然，得益于 Quest 3 的空间感知能力，你也可以让遥控赛车在自家客厅内疯跑，就像官方的 演示视频 中展示的：

在实际游玩中，善用不同遥控赛车的特点，以及观察关卡独特的物理设定，是顺利通过关卡的要点。例如在下面这个关卡中，当赛车翻转行驶时，只要赛车有速度，就不会从轨道上掉落，因此可以用较慢的速度通过翻转路段。

目前 Tracking Craft 在 META APP LAB 和 SIDE QUEST 都有上架，并且目前是免费下载的，同时，官方表示会在 2024 年初上架 PICO。如果你手边有 Quest 3，那么这个游戏十分推荐你尝试游玩一下。

手机版的 AR Cubism？

前几天在逛 Artifact 的过程中发现了一款支持 AR 模式的休闲游戏，名叫 Projekt，大概玩法就是通过不同面向的提示来搭积木从而使得投影同时满足左右视图 （想起了大一被三视图/ 工程制图支配的日子，画风也很像上学时候会画的示意图）。神似 Quest 和 PICO 上的 《Cubism 方块主义》。使用 Unity 制作，同时也支持手机上的 AR 模式 （就像 Cubism 支持 MR 模式一样），还挺解压的，有兴趣的朋友可以试试。

什么，你说这体现不出 MR/ AR 的优越和独特？那是你不懂 乐高 和 Jenga 的乐趣～

Tool

sudo.ai： 一张照片 60 秒创建 3D 模型

sudo.ai 是一个在线生成 3D 模型的网站，目前可免费试用。主要功能是根据一张照片或文字描述来生成 3D 模型。其主要有三个优势：

1. 仅需一张照片，即可识别画面主体，并自动猜测背面形状，生成对应 3D 模型。
2. 速度快，可在 60 秒内快速生成可用模型，同时还能生成一段 360 度旋转的视频可供分享至社交网络。
3. 可自动根据形状和颜色，推荐类似模型，无需手动输入关键词进行搜索。

官方的宣传视频 中也着重突出了 sudo.ai “快”的这个特点：

同时也强调了 sudo.ai 生成的模型效果相对原图的还原度：

我们也对 sudo.ai 进行了实际测试，从 sudo.ai 的左侧，我们上传一张手机拍摄的花朵照片，其会自动识别主体是花朵，丢弃背景绿叶，对花朵进行模型生成，完成后右侧有推荐的类似模型。

如果你还记得 012 期推荐过的 CSM.ai 的话，其实本质上他们是同样的原理，先根据上传的图片生成多视角的图片，再使用 NeRF 等技术进行 3D 模型生成。sudo.ai 目前已经开源了多视角图片生成的代码：Zero123++，并附有一个在线的 demo。而 3D 模型生成部分目前仅公开了 论文，代码短期内暂不公开。

用同一张花朵的图片测试，左侧 sudo.ai 更快， 3D 模型更平滑，目前导出仅支持 .glb 格式；而右侧 CSM.ai 更慢一些，但凹凸感更强细节更多，支持导出 3D 格式更多。

Swift Angel：能帮你用 Swift 开发 visionOS App 的 GPTs

GPTs 推出之后，GPT 用户们创作出的多个 Swift GPT 助手可以帮助大家加快使用 Swift 及 Swift UI 开发 iOS 与 visionOS 应用的进度，我们在 上一期 中也介绍过一些。

这次，编辑中的唯一菜鸟就亲身尝试，替大家快速试验其中一些 GPT 助手的编写及沟通效率如何。由于时间有限，就没有对所有号称可以帮助编写 Swift 应用的 GPT 助手进行测试，下文暂且以试过可行的一款 GPT 助手为例，简单回顾下使用过程。

在 ChatGPT 还不支持识图与联网查询功能同时使用的时候，菜鸟笔者就有过同 GPT4 原生本体完全通过纯文字对话的方式，实现简易 visionOS app 前端界面的经验（非常简单的那种，几乎是 window-based，个别地方有展示 volume）。由于之前 GPT4 的知识库还没有更新，还停留在 2020 年，所以很多 visionOS 的文档信息是由笔者在 debug 过程中查询并提交给 GPT 来学习、更新知识库实现的。当时整个体验下来就是 GPT4 “学习”和“理解”很快，不过笔者的英文书面语言表达能力也在不写论文之后得到了较大提升。

这次 GPTs 助手出现之后，笔者就拿之前 GPT4 本体实现的简单界面再简化，去测试了个别助手。某些助手在测试时，笔者上传手绘界面草图后，表明自己“无法提供代码语言”，笔者遂放弃。同时为了保证测试顺利，担心自己草图过“草”，还简单快速画了一组线框图提交测试。

事实证明，名为 Swift Angel 的 GPT 助手，可以顺利理解提交的线框图（辅以简单的文字说明）并提供 Swift 代码，以及会手把手教你怎么去创建工程文件（真 - Angel 了）。后续有理解不到位或者报错的地方，也可以和 Angel 沟通，去进行修改（第一次创建的界面实现后不完全符合我的预期，此处视频及修改前后画面仅作 GPTs 能力示意）。主要是可以传图之后，与 GPTs/ GPT 沟通的效率大大提升，不用事事都靠我们的“嘴炮”沟通了。这里因为仅作示意，举例比较简单，这位 GPT 助手是否可以实现更复杂的 visionOS app 界面，还请各位自行体会或挖掘了～

或者你最近在与 GPTs/ GPT 本体交互编程的过程中有什么心得体会或者推荐？都欢迎留言与我们互动（同时祈求服务器稳定）～

和 Swift Angel 的一些沟通过程如下图所示：

第一次描述后，最终的实现效果如下：

Article

Apple visionOS 及 iOS SwiftUI 开发（增强现实 AR）

Apple visionOS 及 iOS SwiftUI 开发（增强现实 AR） 是一份中文的 visionOS 及 SwiftUI 开发入门教程，作者参考了日本开发者的 visionOS_30Days 开源项目，同时结合自己的想法，编写了 Demo 并配有思路讲解与 API 使用指南。

每篇文章简短完成一个小功能，并带有图片与讲解，非常适合英文不太好的初学者入门练习。

Code

Vision Pro Agora Sample App：声网 SDK 的 Vision Pro 集成 Demo

visionOS-Quickstart 是利用声网 RTC SDK 实现视频通话功能的 visionOS 版本示例程序。

如果你需要在 visionOS 集成视频通话或语音会议功能，可参考这个声网的官方 demo。

Grape:力模拟和图形可视化的 Swift 库

Grape 是一个力模拟和图形可视化的 Swift 库，可以完成力导向图和晶格模拟等力学模拟运算，支持 2D 和 3D 模拟，同时还有一个 visionOS 版本的 demo，可供大家学习。

GoncharKit: 专为 visionOS 上 RealityKit 开发的工具库

GoncharKit 是一个专为 visionOS 的 RealityKit 开发的工具库。可以非常方便地给 3D 模型添加一些视觉效果，目前有三种功能：Outline Mesh Generation（外轮廓网格生成）、DoubleSided materials（双面材质）、Skeleton Visualization（骨骼系统可视化）。

• Outline Mesh Generation：由于 visionOS 上的 RealityKit 目前既不支持自定义多通道渲染，也无法使用屏幕后期处理进行边缘处理，因此要给模型添加外轮廓（外描边），只能通过法线外扩的方式来生成新的网格从而实现描边效果。

虽然这种方法对法线不连续的物体，比如正方体，效果并不完美，会在不连续处出现破损，但这是目前在 visionOS 上惟一可行的添加外描边的方式。

• DoubleSided materials：由于 RealityKit 和 USDZ 自身不支持双面材质，因此有类似树叶这种平面物体时会导致背面无法显示的问题。为了显示模型的背面，需要对顶点索引进行反转来生成新的面，最终实现显示背面的功能，显示效果稳定。

• Skeleton Visualization：对骨骼动画的关节点，添加标记，方便进行骨骼动画的调试。

SmallNews

Apple 放出了空间视频的示例

在 Apple Developer 的 Streaming Examples 页面上，Apple 给出了一个基于 史前地球 的 3D 电影的范例，不过目前给出的 视频地址 只能在 Apple Vision Pro 的真机的 Safari 中播放，模拟器和 mac 上的浏览器都无法播放。（可能是目前的浏览器版本还不支持这个格式的 HLS 播放）

Apple 新专利申请：Facetime 里的跨终端多人游戏，但是是实物（我手上真的有印刷的纸牌啊！)

今年 Apple 的 WWDC 大会及后续视频中有提过使用 visionOS 在 Facetime 中创建 SharePlay 的体验，在 PatentlyApple 最近披露的一项他们 正在申请的专利(申请号 20230293998).pn.&db=US-PGPUB&type=ids) 中，这项体验将会被升级。

跨终端跨系统（iOS, iPadOS, visionOS）在 Facetime 玩同一款虚拟游戏不算什么，现在专利申请更是要利用 框标 (Fiducial marker) 技术，将现实世界的多人游戏体验带到 Facetime 中。举个简单例子，就是你带着 Apple Vision Pro 与用 iPhone 的朋友开着 Facetime 打扑克（你们手里都抓着纸牌），不同于直观的录像视频展示（很可能看不清），结合了 Fiducial marker 的技术，这项专利希望可能以全息投影等形式将你手上的纸牌带到你朋友的面前。或者你朋友递给你他/她手上的“实物”的时候，该项技术或许也可以在你手上生成“实物”的投影，尽可能模拟真地传递到你手上的效果，使现实与虚拟的边界更加模糊，从而实现延展现实的概念，拉近人的交互距离。

TikTok 将 AR 滤镜编辑加入手机版

继效仿 AR 相机程序 Snapchat 推出 AR 创作软件 EffectHouse （PC） 之后，手机版 TikTok 最近宣布向广大用户推出在移动版 TikTok 中直接创建 AR 滤镜的新功能，省去了额外下载 EffectHouse 的麻烦（当然 PC 端的 EffectHouse 总是可以制作出更丰富的效果）。用户可以从移动版的 AR 滤镜库选择超过 2000 个素材进行组合。之前，TikTok 还为创作者提供了总价值 600 万美元的创作者基金，以鼓励 AR 滤镜的生产。目前，TikTok 在调整最新的创作者计划的过程中。

如下图 视频教程 截图所示，用户可以在手机端选择相应 FilterBase、触发 Trigger，类似简化版的 电脑端 EffectHouse 和 Unity 的模块；用户将不同 3D 资产、Trigger、与追踪 Anchor 组合后可以完成滤镜的创建。手机端创建的 AR 滤镜同样享受创作者计划的分成。

微软：工业 AR AI 两手抓，事半功倍！

微软今年早些时候面向白领工作者推出了 Copilot，现在他们结合自家 to B 的 混合现实头戴设备 HoloLens 2，向工厂中的技术人员引入了这位人工智能助手，将其整合到他们的混合现实应用 Dynamics 365 Guides 里面，目的是帮助工厂技术人员更好地工作，减少管理和维护设备的时间。这样一来，现场工作人员就不用亲自动手了，他们可以用自然语言和手势跟 Copilot 交流来完成日常工作。Copilot 会通过在设备上显示一些相关的技术文档、服务记录和其他数据源的信息来提供帮助。这样大家就可以更轻松地进行对话式的互动，还能创建三维模型等。而且随着一些老员工退休，加入这个 AI 助手也有助于公司保留知识库。目前，Copilot 还处于预览阶段，首先会在微软的 HoloLens 2 头戴设备上推出，之后也会在移动设备上使用。

Apple 新专利：从 Genius Bar 到你家客厅，用 AR 促进新品剁手

Apple 毫无疑问一直在推动行业整合与科技进步，同时营销也是他们非常重要的一环。近日 PatentlyApple 披露的一项 Apple 近日获批（2021 年填写申请）的专利（编号 11816800.pn.&db=USPAT&type=ids) ）就显示他们在未来自家产品销售中或将结合 AR 技术，哪怕方圆 500 里都没有 Apple 商店，让远程销售人员带着设备，以 Avatar 形式来到顾客家客厅，向顾客实时展示产品与交互。

同时 Apple 计划将 AR 导购与在线聊天系统结合。这意味着客户可以在看到产品通过 AR 技术栩栩如生的同时进行咨询和获得帮助。就像有一个个人购物顾问，可以根据你的需求帮助你做出最佳选择一样。

看起来，Apple 真的在推动 AR 技术的边界。他们不仅使客户更容易接触到这项技术，还提升了整体的购物体验。我迫不及待地想看看这些功能在未来会如何发展和改进！

写在后面

不管是你看到的优质信息还是自己编写的精品内容，都可以通过通过 Github 的 Issue 或者 飞书表单 来投稿哦😉。

本期贡献者