远不止是游戏:盘点 PICO 4 Ultra 中那些让人心潮澎湃的 MR 能力
在 PICO 4 Ultra 上市之前,一提及到 PICO,大家脑子里第一反应都是:一台很棒的 VR 游戏机。这也导致很多用户没有感知到 PICO 4 Ultra 上更加重磅的 MR 能力。
确实也无可厚非,毕竟,无论是此前的 PICO Neo 3、PICO 4,官方给其最终的定位都是一台 “VR 头戴设备”。直到 PICO 4 Ultra,一个新的定位——MR 头戴设备才逐渐浮出水面👀。
相较于基本只能用来做游戏的 VR ,MR 的想象空间,无疑是大了很多——毕竟,游戏再好,我们也不会把所有的时间都交给它,应用才是我们互联网生活的主基调。
那么,作为第一款背负了 “MR”名号,意在让你 “出彩、入境” 的 PICO 4 Ultra,都提供了什么样的环境感知能力给开发者和用户呢?
先说结论,PICO 4 Ultra 发布后,开发者可以从 PICO 系统中获得更多的空间感知能力加以利用。(这从 PICO 开发者文档的更新日志 就可以窥一斑而知全豹)
在 PICO 4 Ultra 之前,开发者能够获取到的能力只有视频透视、空间锚点和场景标定功能。
视频透视 不必多说,这可以让开发者在自己的应用中,让用户看到周边的环境,让一个应用快速的从 VR 模式切换为 MR 模式。
所谓 空间锚点,指的是系统给开发者提供一个坐标,开发者就可以将一个虚拟物体固定在这个坐标对应的现实世界的位置上。
这个能力算是 MR 世界的基本能力,而 PICO 4 Ultra 提供的锚点,会在锚点周围建立锚点地图,这样一来,即便是离开了当前的房间,下次回来的时候,之前的锚点也不会漂移,这也就是空间锚点最重要的记忆找回能力。
利用这样一个稳定的锚点能力,一些非常基本的放置类的 App 就可以被实现出来了,例如,一个可以放在桌子旁的可爱天气球,不管你怎么移动,这个天气球都会静静的在桌子旁边等你把玩:
而 PICO 4 Ultra 提供的锚点,会在锚点周围建立锚点地图,这样一来,即便是离开了当前的房间,下次回来的时候,之前的锚点也不会漂移。
而 场景标定,则是系统提供给开发者当前房间中天花板、地板、墙面的位置,开发者就可以基于这些数据,获取到更加精确的房间布局,从而对虚拟物体有更精确的摆放,例如,基于房间的墙壁和天花板的位置,实现这样一款把天花板当做屏幕,专门躺着放松的小应用,就不在话下了:
需要注意的是,这个能力在启用之前,还需要用户主动对当前的房间进行一次扫描(需要在设置 -> 房间标定 中开启):
当然,为了更好的用户体验,开发者也可以在自己的应用利用 PICO 提供的 API 主动调用扫描流程,通过系统的 UI 引导用户完成扫描以在自己的应用中使用这些数据。
而现在,随着 3.0 版本 PICO SDK 的到来,PICO 提供给我们更多的 MR 能力,这些能力包括 共享空间锚点、实时网格。
费曼曾经说过,如果对一个事物,我们只知道他的名字,那我们就等于对其一无所知。那上面这些 PICO 的 MR 能力,具体是个什么意思呢?
首先是和前面的空间锚点最有关联的 共享空间锚点。有了这个功能后,当小帅在自己的桌面上摆放一个天气球之后,同样戴着 PICO 4 Ultra 的小美就可以在同一个位置看到这个天气球了。
不只是如此,基于这个能力,不管是和朋友们一起玩一场桌游:
还是和同事一起设计点东西,都不在话下:
而在这一切的背后,PICO 会默默做好本地空间锚点上传和同步的工作。
而拥有了 空间网格 后,更多富有想象力的场景将会被发掘出来。所谓空间网格,指的是 PICO 4 Ultra 会对摄像头扫过的地方进行三维建模,逐步生成一系列的三角网格来模拟现实世界的表面形状。
在实际的场景中,如果我们把这些三角网格具体的展示出来,就会是一幅这样的画面:
那可能你就想问了,这有什么用呢?这用处,可大了。
首先,拥有了现实世界的形状,我们就可以任意的给现实世界增加滤镜,比如,一转眼,你就可以来到一个黑客帝国的世界:
或者,如果你想,你还可以做出这样一款略有悬疑风格的小应用,只有当你用手拍击的时候,你才能看到周围的世界:
如果你想,你还可以让虚拟世界中的物体以一种更加真实的方式和现实世界结合,比如,这样一个几乎可以以假乱真的丝绸:
也正是因为有了这样全新的对现实世界的感知能力,PICO 4 Ultra 上就能实现对已有一些体验进行大幅优化。
例如,在此之前,在一开始戴上 PICO 进入游戏的时候,我们都要手动去调整 PICO 识别到的安全区的高度,而现在,利用这样能力,安全区可以自动进行高度检测,不需要我们手动去调整了,我们只需要完成最后一步的确认即可:
而对于体验尤为重要的空间音频,也可以通过给现实世界的空间网格添加预设的模型,来实现根据现实场景调整空间音频的反射等效果。这也就是 混合现实空间音频。这能让你在不同的房间拥有不同的回响效果,进一步加强了混合现实的体验临场感。
另外,在原有的 VR 模式下,用户能够活动的范围是固定的,一旦用户走出 VR 安全防护边界,即便是用户没有碰触到现实场景的物体,用户也无法和虚拟物体进行交互。这对于上来就能直接看到现实世界的 MR 应用来说,显然是不太符合直觉的。
好在,借助空间网格,PICO 4 Ultra 针对 MR 应用,可以提供新的 MR 安全防护 功能。在 MR 安全防护中,只有当出现大面积的虚拟物体遮挡住用户视线,并且用户靠近障碍物的时候,系统才会将物体虚化以提示用户。
不止如此,当手柄接近到虚拟物体的边缘的时候,手柄周围的虚拟物体也会自动虚化。
好了,以上这些,就是目前 PICO 4 Ultra 所拥有的全新 MR 能力了。有了这些增强的 MR 能力加成,“MR 头戴设备”这个定位也算是基本坐稳了,接下来就要看开发者们如何快速把创意落地了。让我们拭目以待👀。