iOS 17.2 上新上的空间视频,要这样玩

XR 基地是一个专注于 XR 领域的创作者社区,我们的目标是 让 XR 开发变得更简单!

如果您熟悉中文,您还可以通过以下方式找到我们:官方网站CN, 微博, 即刻, 微信公众号, 稀土掘金

2023 年 11 月 10 日,Apple 推送了 iOS 17.2 的第二个 Beta 版本,虽然那时候只是面向少数开发者,但是很多人为了抢先体验 Spatial Video,也都纷纷加入了 Beta 的升级计划,好消息是: iOS 17.2 已经正式推送了!这也意味着,只要你手上拥有 iPhone 15 Pro 系列的手机,并将系统升级到最新版本,你就可以随时随地开始空间视频的拍摄了。

早在 6 月 WWDC 发布 Apple Vision Pro 的时候,大家就开始在疯狂的讨论、猜想这个空间视频到底会以什么形式呈现,有人猜测是利用多视角图像对场景进行重建,也有人认为是利用多平面图像对深度进行表达,还有人认为是利用神经辐射场渲染场景(当然一些猜想在随后 iPhone 15 发布的时候也被否定了,因为以目前手机的算力还做不到这样的场景表达)。而现在我们也清楚了,空间视频的原理和我们在电影院里看到的 3D 电影是一样的:利用双目视差来还原场景深度(这一点我们也在之前的 这篇文章 中也有过比较完整的介绍)。

在此之前,我们对空间视频只有理论上的介绍,而现在,我们有了更多丰富的工具来把玩空间视频。所以接下来,我们将会从这几个方面展开,让你在能够购买 Apple Vision Pro 之前,能够提前感受一下空间视频的魅力:

  1. 如何拍摄空间视频
  2. 如何制作符合 Apple 规范的空间视频
  3. 在当前,如何观看空间视频
  4. One More Thing 😉

如何利用 iPhone 15 Pro 系列设备拍摄空间视频

如果你是刚接触空间视频,并且已经有了 iPhone 15 Pro 系列的新手玩家,首先确保自己系统已经升级到 iOS 17.2。然后根据下面的步骤打开空间视频录制。

之后进入系统的相机应用,点击录制视频即可看到与空间视频录制相关的设置。其中有一些基本的操作注意事项:

  1. 注意系统提示。为了在 Apple Vision Pro 上有较好的观影体验,应该避免在夜景等等光线不足的场景录制,同时避免离物体太近进行录制。
  2. 无需过于担心拍摄抖动。拍摄空间视频的时候,相机会自动开启防抖(这也是为什么画幅有较大裁切)所以正常的手部抖动不会对画面造成较大抖动,如果追求平稳的拍摄,可以参考相机中间的水平参考线。
  3. 无需担心录制大小。相比 RAW 等规格的录制,目前空间视频录制的规格受限于超广角镜头的物理参数,只能录制 1080P 30 帧的空间视频,加上高效的 MV-HEVC 编码格式,录制一分钟的视频大小大约为 200 MB。
  4. 不要遮挡广角、超广角和激光雷达摄像头。

如何制作符合 Apple 规范的空间视频

如果你是很早就接触到双目视频拍摄的大佬玩家(特别是在 VR 直播风靡的时候就已经入局的你),即使你手上没有 iPhone 15 Pro 系列也没关系!利用你现在手上双目设备,同样可以“拍摄”出属于你自己的立体回忆。无论你是拍摄获得双目鱼眼视频还是双目左右眼视频,通过下面的工作流都可以编码成能被 Apple Vision Pro 识别的空间格式视频。这里,我们有两个工具推荐给大家使用:

  1. Halocline,这是一个几乎“全能”的网站,在这里可以完全基本所有格式的视频转换,新用户登录网页注册即可获得 1 分钟免费时长。优点是没有 Apple 的设备也可以对视频进行处理,缺点是免费额度用完后价格 9.97 美元包月(当然学生有 50% 折扣)。
  2. Spatialify,由吴天大佬开发的,可以在 iPhone / iPad / Mac (甚至 Apple Vision Pro) 上对左右眼直接进行处理的软件。优点是 2.99 美元(18 元)买断终身使用,缺点是不支持鱼眼图像转换的流程。

这两个工具的基本功能,都是将现有的 Side By Side Format(简称 SBS Format)转换成 Apple Vision Pro 所支持的 MV-HEVC 格式。所以如果你已经积攒了相当大体量的 SBS Format 的视频的话,也可以将这些视频直接转换成 MV-HEVC 格式在 Apple Vision Pro 上观看。

在当前,如何观看空间视频

当然肯定有小伙伴要问了,现在拍了空间视频也没法看啊!确实,如果你真的想提前瞥见一下自己的空间视频,你可以将空间视频转码成左右眼视频,这样就可以在一些主流的 MR 头盔里进行查看了,例如 Quest 或者 PICO。(但是因为分辨率以及解析算法的不同,和在 Apple Vision Pro 里看的效果会不一样噢)。

在这里,非常感谢 E 是天翼的翼的密集踩坑,借助 XR-Stereoscopic-Viewer 这个项目,并结合前文提到的 Spatialify ,让我们可以在没有 Apple Vision Pro 的情况下,先直接感受一下自己拍摄的空间视频的效果。

这里我们以 PICO 为例进行整体流程的讲解:

  1. 在应用商店中搜索 “空间西洋镜”,将其下载到你的 PICO 中。
  2. 打开 Spatialify,选择 “从空间视频批量导出”
  3. 在导出设置中选择 “全宽左右格式”
  4. 等待导出结束,并将其传到电脑上

接下来,在电脑上只要将刚才的视频传到 PICO 的 /Pictures/3dMdedia/ 目录下即可(Mac 用户可以使用 Android File Transfer 来传输文件)

然后打开应用,就可以在 PICO 中打开这个应用来查看空间视频了:

如果你手边有的是 Quest,那么唯一区别你需要使用 APK 来直接安装 XR-Stereoscopic-Viewer ,其他步骤都和 PICO 是一样的。

One More Thing

用相机记录生活是一种将短暂转化为永恒的方式,它让我们能够跨越时间的限制,重新连接到过去的情感和经历。而利用空间视频则是创建更立体、鲜活、永恒的链接。目前,X 上已经有一些朋友 用空间视频来记录、分享自己的生活 了。

正好,最近看到 XR 基地的英文版被 FeedSpot 收录,且成为 30 Best XR Bologs and Websites 里的第 17 名了,XR 基地的布道师们也非常开心。开心的时刻,怎能没有抽奖来相伴呢?我们也为大家准备了 5 个 Spatialify 的兑换码,我们会在一周后开奖,希望大家玩的开心~

另外透露一下,经过我们接近两个月的拍摄、编辑、观看体验,我们总结了一些如何能够更好拍摄出空间立体视频的技巧,也会在稍晚的时候分享给大家,敬请期待!

本文贡献者

Copyright © 深圳市虚实基地科技有限公司 粤ICP备2023104442号-2