不过,由于模拟器只能输出平面的内容,因此在模拟器中我们并不能感知到特别强烈的 3D 效果。要解释清楚这个事情的来龙去脉,我们就得在下一个话题中继续展开。
空间视频/照片到底是什么?
如果你去电影院看过 3D 视频,你应该就体验过空间视频。2009 年上映的阿凡达,让普罗大众了解到了 3D 电影这一全新的观影体验。
对于 3D 电影,在这十多年的时光中,大家已经或多或少的了解到了这其中的原理,利用人眼的视差效果,在电影拍摄时用两个摄像机拍摄,放映时用两个放映机投像,知乎网友 BOOK 思议的回答 也非常简单明了地解释了其中的原理:
在有了理论后,3D 电影也需要具体的视频形式去存储。在现在的实践中,我们一般会看到两种类型的 3D 影片存储形式:
Anaglyphs 3D(浮雕 3D)
Split Screen 3D(分屏 3D)
先来说说 Anaglyphs 3D,这种形式的 3D 是通过使用不同(一般色彩相反)的颜色(通常是红色和青色)的滤镜对每只眼睛的图像进行色彩混合来实现立体 3D 效果的。由于最终裸眼展示效果非常类似浮雕,因此就被称作是浮雕 3D,如果你在电影院拿到的 3D 眼镜是那种红蓝镜片,摘下眼镜后你就会看到类似这样的画面:
这种形式的 3D 视频一般多见于影院场景。
另外一种形式的 3D 视频形式,就是 Split Screen 3D,这种形式的 3D 视频一般是将左右眼的画面同时放在视频的一帧中,在实操中我们会看到两种摆放形式,即左右摆放(Side By Side)以及上下摆放(Top and Bottom):
这种形式的 3D 视频一般多见于各种 PC/Mobile/VR 头显 的播放器。例如 iOS 上老牌的播放器 nPlayer 的 3D 模式 和 VR 头显上有口皆碑的 MoonVR,都对这种 Split Screen 3D 模式进行了支持:
此次 Apple 发布会所提及的“空间视频”并不是什么特别新颖的技术,和我们此前看到过的 3D 电影一样,它也只是利用左右眼的视差来让人感觉“立体”。在 WWDC 的 Session 10071 中也对 3D 视频进行了如下的解释:
空间照片的原理也是一样的,通过两张不同角度拍摄的照片,就可以利用人眼的视差来表现 3D 效果。通过一些 3D 相机,我们也能够得到类似 3D 视频的 “3D 照片”(下面照片来自 QooCam EGO 的 样片合集) :
在能够拍照的智能手机出现之前,拍照和录像其实也是一项非常“普通”的技术,只是它们更多的还被局限在专业人士的圈子里。但直到能够拍照的智能手机的出现,“拍照”和“录像”才成为普通人唾手可得的技术,这也才迎来了对应 C 端市场的大爆发。
而此次 Apple 在空间视频和空间照片上所做的事情,就非常类似当年智能手机所做的事情——让技术更为大众。让技术更为大众这件事情,Apple 分别在生产端硬件、消费端硬件,以及软件端都花了不少力气。
在生产端硬件上,iPhone 15 Pro 出现之前,如果你想拍摄空间视频或者照片,你需要用两个相机来同时拍摄或者购买类似 酷看 EGO 这样的专业 3D 相机,而现在,你只需要有一个 iPhone 15 Pro / Pro Max,你就可以开始拍摄了。(尽管手机行业整体销量下滑,但 2023 年 H1 iPhone 14 Pro/Pro Max 依然在全球售出了 4000 多万台,可以想想这个量级的设备对普及空间视频和空间照片带来的加成会有多大)
而在消费端硬件上,Apple Vision Pro,当前最强的头戴一体机,一定能够为空间视频和空间照片的观看提供最好的硬件基础。鉴于大家对 Apple Vision Pro 硬件参数可能已经倒背如流了😛,这里就不花大力气解释了。
而此次承载空间视频的,是 MV-HEVC (Multiview HEVC)这种编码格式,可以理解他是 HEVC 的一种扩展,这种格式的主要目的,就是能够高效的将两个仅视角不同的视频帧以一种高效的压缩方式进行编码。现有的 3D 视频并没有在编码上做了任何优化,因此例如 下面这个 QooCam EGO 拍摄的样片,每一帧其实都是以 Side by Side 的形式分别存储左右眼的画面的,可想而知左右眼之间的冗余信息会非常多(理论上这样的冗余,会让文件体积直接是仅有单画面视频文件的 2 倍)
同时,由于 MV-HEVC 本身完全被 HEVC 解码器所兼容,因此在不支持以 3D 形式查看的设备上,它也完全可以被当做是一个普通的 HEVC 视频被播放。
简单总结一下,有了 MV-HEVC 之后,空间视频这种全新的视频格式,在大小和兼容性上可以做到和现在所有的 HEVC 视频文件齐平,在大小不剧增的前提下还能够被 Apple 全系设备很好的支持并播放(仅有 Apple Vision Pro 这样的空间设备能够播放,这种感觉,像不像当年的 LivePhoto ?),这无疑对空间视频的传播起了非常大的助推作用。