摘要:Meta 对其 Quest 头显的软件开发工具包(SDK)进行了重要更新,此次更新引入了拇指微手势(Microgestures)和改进版的 Audio To Expression(音频驱动的表情生成)功能。此外,还提供了便捷工具,让开发者能够更容易地访问 Qu
Meta 对其 Quest 头显的软件开发工具包(SDK)进行了重要更新,此次更新引入了拇指微手势(Microgestures)和改进版的 Audio To Expression(音频驱动的表情生成)功能。此外,还提供了便捷工具,让开发者能够更容易地访问 Quest 头显的透视相机(Passthrough Camera)功能。
拇指微手势是此次更新的亮点之一,它利用 Quest 头显的无控制器手部追踪功能,能够检测用户拇指在食指上进行的点击和滑动等细微动作。这种类似于 Steam 手柄 D-pad 设计的交互方式,为开发者提供了更多的交互场景选择。在 Unity 引擎中,开发者需要使用 Meta XR Core SDK 来实现微手势功能,而在其他引擎中,则可以通过 OpenXR 扩展 XR_META_hand_tracking_microgestures 来实现。
Meta 表示,拇指微手势可以用于实现无需手柄的瞬移(Teleport)和快速转向(Snap Turning)等功能,同时也为开发者提供了一种更轻松的交互方式,减少了用户反复伸手或指向界面元素的动作。此外,Meta 还计划将这种微手势技术引入其正在开发的 sEMG 神经腕带中,这一腕带将成为 Meta 未来 AR 眼镜的输入设备,并有望应用于今年推出的 HUD 眼镜。
除了拇指微手势外,Audio To Expression 也是此次更新的重要功能之一。它是一种设备端 AI 模型,通过麦克风音频输入即可生成逼真的面部肌肉运动,模拟用户的面部表情。这一功能在 SDK v71 版本中首次推出,并在 v74 版本中得到了进一步升级,提升了情绪表达、嘴部运动以及非语言发声(如叹息、咳嗽等)的准确度。
Audio To Expression 取代了已有十年历史的 Oculus Lipsync SDK。与 Oculus Lipsync 相比,Audio To Expression 能够覆盖更多的面部肌肉动作,并且 CPU 占用率更低。然而,目前 Meta 的 Avatar SDK 尚未整合这一功能,也暂不支持内向外(inside-out)全身追踪。
此外,此次更新还为开发者提供了便捷工具,帮助他们更容易地访问 Quest 头显的透视相机功能。如果用户授权,应用程序可以利用 Quest 头显的前置彩色摄像头,并获取镜头内部参数(如内参)和头显位置数据,从而运行自定义计算机视觉模型。
来源:新浪VR