autorenew

🎉空间计算 + 人工智能 + iOS = ♾️, Let's visionOS 25 即将到来! 了解更多 →

当 PICO 4 Ultra 碰上空间视频,会擦出什么火花?

卡梅隆可能从来没有想到过,阿凡达引领起来的 3D 浪潮在多年以后,会在 XR 领域以空间视频、空间照片的形式重新火热起来。

而这一次,拍摄的主角不再是那些出手必是大制作的电影团队,而是每一个普通但不平凡的创作者。

没错,就是正在看这篇文章的你我。

为什么这么说?

别的不说,先看看 iPhone,从 15 到 16,孜孜不倦的硬件升级,除了按钮,就是拍摄。

而为了能够更好的进行空间拍摄,Apple 甚至做出了 ”违背祖训“ 的决定,将 iPhone 16 系列的摄像头模组进行了调整,从对角线变成了平行线🫣

这充分说明,空间视频对于 Apple 的重要性。

有了 Apple 开了这个头,各个厂商也纷纷进行跟进,你看,隔壁的 Meta 急忙给 Quest 增加了查看空间视频和全景图的功能。

不过,体验来体验去,在空间内容这方面,我们要用上评价许昕的那句名言了——PICO 4 Ultra 还是太全面了。

这个全面,不仅仅是在播放,还包括内容生产和交互细节等多个方面。

播放:省心

先来说说播放。

要想在 PICO 上播放 iPhone 已经拍摄好的空间视频,你只要在 iPhone 上打开 PICO App,选择导入相册。

成了,接下来,你就能直接在 PICO 上沉浸式观看手机上拍摄的空间内容了。

不用操心什么去找播放器去兼容播放 MV-HEVC 这一 Apple 推出的新格式,PICO 在背后已经默默为你处理好了一切。

你要做的,就是戴上 PICO,享受这一切。

也不要担心空间内容会更占据空间,MV-HEVC 这个格式,生来就是一个压缩比极高的格式。

和之前的 Side By Side 的双目视频相比,MV-HEVC 非常聪明的仅仅保存了主画面与用于还原次画面的残差值,以及需要还原立体视差效果所需要的各类参数。

口说无凭?来 3、2、1 我们 上链接

在这个 Apple 提供的 Demo 中, 我们可以看到一个 Side by Side 的 14.8MB 的原始视频,在经过 MV-HEVC 编码后,其大小压缩到了 3.8MB,四舍五入这就是压缩了五倍了鸭!

除此之外,MV-HEVC 兼容性还很好,不支持双目播放的设备,会把它当作普通视频来看,也就是说拍摄之后,在手机上也可以当普通视频观看。

高压缩比,高兼容性,如果说未来 VR、沉浸式视频的标准编码格式就是它,估计一点也不为过。

什么?

买了新 iPhone 还没试过这个功能?再回顾一下 通过 iPhone 相机为 Apple Vision Pro 拍摄空间照片和录制空间视频iOS 17.2 上新上的空间视频,要这样玩,毕竟买都买了,怎么的也得多玩十块钱的不是😉。

根据可靠情报,为了让空间视频在 PICO 上播放的更流畅,PICO 这回还和高通深度合作,联合开发,对 8Gen2 现有视频编解码器固件、驱动、Android Codec2 框架做了大量改造,以支持 MV-HEVC 编解码全链路。

除了编解码,还有一些播放细节上,PICO 也在背后默默做了优化。

如果看了我们 之前的科普文章,你就知道空间视频的立体感来自于左右两眼获取到的画面带来的视差。

原理很简单,但实操起来,不合理的视差和观看尺寸会非常容易让用户产生不适。

为了确保用户体验,PICO 在播放空间视频的时候,会根据视频中的元信息来自动进行视差调节。

例如,在播放时,PICO 会针对图像播放尺度进行调整,根据拍摄场景的总体深度来调整图像尺度和左右视差偏移量,保证近景观看不会过易导致疲劳,远景不会产生拉伸畸变。

哦对了,不只是空间视频,在 PICO 上,你拍摄的空间照片和全景照片,都是可以像空间视频一样,自动导入 PICO 上观看的。

在这一点上,比起隔壁的 Meta 只能导入全景照片和空间视频,PICO 贴心的往前多走了一步。

生产:用心

如果只是能播放空间内容,那可就太没意思了。

作为一款装备了两个水汪汪卡姿兰大眼镜的 MR 设备,PICO 怎么能忍住不自己上手拍摄呢?

就问你这双大眼睛水不水灵👀?

毕竟比起来手机的两个镜头,头戴设备上的两个镜头间距更贴近人眼间距,并且两个镜头规格一致,成片立体感更强,而且,拿着手机拍摄,时间久了容易累。

但戴着 PICO 拍摄,时间久了可能电池会先累。

不过,戴在头上和手上不一样,头部本身的频繁晃动会让画面也产生剧烈晃动,多年前一部第一人称拍摄的神片《硬核亨利》就是一个典型例子。

看这个剧烈晃动的第一人称视角,绝对是体验 3D 眩晕的绝佳好素材。

不止如此,和抖动的画面一起来的,还有果冻效应。

简单来说,果冻效应是因为目前主流的相机快门都是逐行曝光,导致在拍摄时如果画面内容出现快速移动,移动速度快于逐行曝光的速度时,最终成成片会出现不可预期的扭曲的现象。而在空间视频的拍摄中,由于我们眼前的画幅变大了,果冻效应带来的不良体验会更加明显。

这两个问题,PICO 都想到了,并且也得着力去解决了。

得益于 PICO 设备上的各项传感器,PICO 4 Ultra 上利用 6DOF 的信息并结合图像以及图形计算单元(IMU)进行联合防抖,结合未来图像帧的位姿预测,智能规划最优防抖路径,让拍摄的画面更加稳定。

而果冻效应的解决方案,PICO 4 Ultra 采用了细网格覆盖,高精度去除图像中的果冻效应,再结合防抖技术,优化整体效果表现。

有了防抖技术的加持还不够,画质、帧率、色彩、音频,这几个哪一项有短板,最终的成片体验都会打折扣。

毕竟,作为只有在头戴设备上才能体验到的内容,哪一项带来不好的体验,都是在贴脸开大

在这几个方面,PICO 4 Ultra 也充分进行了打磨。

配合对高通这块芯片的深入理解,PICO 4 Ultra 可以以 60fps 的帧率录制空间视频,并且单眼分辨率达到 2048 * 1536,基本达到 105° FOV 下的点对点清晰显示。

在色彩上,对于普通的拍摄者来说,空间视频最重要的就是有一种真实感,而这种真实感,往往来源于画面的色彩。

同一个画面,调色的好与坏,其实会非常影响成片的效果

PICO 4 Ultra 采用了 3DLut 方案,加入了记忆色和喜好色等元素以适应各种颜色的环境光照,使得回放画面更符合大众对日常场景的印象,提升用户观看的愉悦度和舒适度。

而在音频这里,借助 PICO 4 Ultra 上的四个麦克风,PICO 4 Ultra 可以 通过模型训练,将音频录制成 Ambisonics 格式的空间音频,使得用户在观看空间视频的时候,能够更加沉浸。

在后续的 OTA 升级中,PICO 4 Ultra 还会支持 MFNR 这一高通平台首个降噪能力,这一技术能够实现 0 延迟抓拍效果,全硬化算法,ISP 和单独的视觉计算芯片协同完成,多帧处理速度更快,功耗更低。

交互:贴心

最后,就是交互细节。

尽管比 Apple Vision Pro 便宜很多,但在空间内容的交互上,PICO 4 Ultra 也尽力和 Apple Vision Pro 进行了对标。

你既可以直接通过小窗模式来独立观看。在这种模式下,PICO 会在窗口边缘附近模糊处理,降低深度冲突感、合像重影感。

也可以使用沉浸模式,这种模式下,画面向外扩散的动态模糊边缘,弥补录制 FOV 不足,提升沉浸感,而 PICO 4 Ultra 内置的超分算法,也能更好的还原图像清晰度。

在交互上,为了让用户更加专注于拍摄,PICO 4 Ultra 取消了传统相机应用中的“拍摄”按钮,无需用射线去对准按钮点击,触发拍照,而是通过单击 Trigger 键即可触发拍照和录制,用户可以将注意力集中在被拍摄的景物上。

这一设计也延续到了照片和视频模式的切换上。两个模式的按钮不再需要精确的点击,而是只要关联到这个 “热区”,就可以轻松切换。

注意看,~~这个男人叫小帅,~~图中的热区并不需要用手柄非常精准的瞄准,只要基本在热区附近就可以直接选中。

除此之外,如果你开启了不熄屏拍摄,摘下头戴设备,相机功能依然可以正常运行,可以手持头戴设备完成拍照、录制等操作。

借助抖音强大的生态,在你使用 PICO 4 Ultra 拍摄完成后,你还可以一键分享到抖音,让更多人看到你的作品。

在后续的 OTA 升级中,你甚至还可以直接在 PICO 4 Ultra 上对空间内容进行剪辑以及 3D 特效编辑,可以说是从生产到制作再到观看,PICO 已经提供了基本完整的一条龙流程。

未来:可期

其实,空间视频刚刚出来的时候,其独特的沉浸感,俨然是一种新型的“时间胶囊”,每次回看几个月前拍摄的空间视频的时候,我都会有种回到当时场景的穿越感。

只不过,一个新的视频格式,除了要有播放端的支持,还需要有生产端的支持;除了有日常内容的发布,也还要有大制作的引领作用。

在这一方面上,PICO 有着先天的优势,不只是拥有 PICO 4 Ultra 这样消费、生产兼备的产品,还有《我的百万贤妻》这样的专业作品。

甚至,为了鼓励创作者,PICO 还推出了 PICO 中国山海游漂流瓶计划 这样的活动来让大家一起发挥创造力,并且主题很符合空间视频的场景——回忆杀。

在这个短视频、长视频都已经趋于稳定的 2024 年,空间视频算是稳定的视频创作大厦中,为数不多的一间尚待装修的空屋子🤩。拿起 PICO 或者你手中的 iPhone,赶快拍起来吧!