Meta肌电技术革新:腕带操控AR,未来打字无需键盘?

B站影视 2024-12-13 12:32 2

摘要:随着科技的飞速发展,每一次计算平台的革新都引领着人机交互方式的巨大变革。鼠标的出现奠定了PC时代图形用户界面(GUI)的基础,而智能手机的普及则得益于触摸屏技术的突破。如今,这股创新的浪潮正涌向可穿戴设备与增强现实(AR)领域,为我们勾勒出了一幅未来人机交互的

随着科技的飞速发展,每一次计算平台的革新都引领着人机交互方式的巨大变革。鼠标的出现奠定了PC时代图形用户界面(GUI)的基础,而智能手机的普及则得益于触摸屏技术的突破。如今,这股创新的浪潮正涌向可穿戴设备与增强现实(AR)领域,为我们勾勒出了一幅未来人机交互的新蓝图。

在Connect 2024大会上,meta公司惊艳亮相,展示了其EMG腕带与Orion增强现实眼镜的原型产品。这两者的结合,仿佛让科幻电影中的“隔空打字”场景触手可及。想象一下,在晨跑时,你只需轻轻一挥手指,就能捕捉下美好瞬间,或是以几乎难以察觉的手部动作,在虚拟菜单中自由穿梭。

Orion AR眼镜以其独特的魅力吸引了众多目光,而meta推出的肌电图腕带更是让人眼前一亮。戴上这款腕带,你无需将双手置于键盘上,只需舒适地放在身体两侧,就能通过滑动、点击和滚动等动作,无缝控制数字内容。这不仅仅是一次技术的革新,更是人机交互方式的一次飞跃。

展望未来,这样的技术还将应用于更多场景。比如,在增强现实中操纵物体,或是像打字一样快速输入信息,甚至更快、更省力。近日,在NeurIPS 2024的“数据集和基”子会场中,meta发布了两个重要数据集——emg2qwerty和emg2pose,展示了在硬件层面,仅凭腕带就能产生比细微手势更丰富的输入数据集。

emg2qwerty数据集专注于解决可穿戴设备的文本输入问题。它包含了从两只手腕获取的高分辨率表面肌电图(sEMG)信号,与QWERTY键盘的真实按键同步。这个数据集由108名参与者完成,涵盖了广泛的单字和句子打字提示,总计超过520万次按键,时长达到346小时。通过这一数据集,meta开发了一种受自动语音识别(ASR)领域启发的方法,能够自动解码手腕上的肌肉电信号,并对应到虚拟键盘上的按键。

而emg2pose数据集则致力于解决肌电信号与手部运动之间的映射问题。它包含了来自193名参与者的370小时sEMG数据和手部姿态数据,涵盖了29个不同的行为组。这个数据集通过高分辨率动作捕捉阵列生成手部姿态标签,总计超过8000万个姿态标签,规模庞大。借助这一数据集,meta开发了一种名为vemg2pose的先进模型,能够准确预测手部姿态,误差仅为1厘米。

这两个数据集不仅为meta的隔空打字和手部姿态估计技术提供了强大的支持,也为人机交互、康复工程和虚拟现实等领域带来了新的可能。在医疗康复领域,通过分析患者的sEMG信号,可以实时监测和评估手部功能的恢复情况,为个性化康复方案的制定提供科学依据。而在人机交互领域,这些技术将支持开发更加自然和精准的手势控制系统,极大地提升用户体验。

meta还展示了其基于这些数据集构建的基线模型,并在基准测试中取得了令人瞩目的成绩。这些模型在排除用户、传感器放置和手势姿态等方面的物理世界泛化场景下,仍能保持出色的性能。这标志着meta在人机交互领域的技术实力,也为我们未来的数字生活描绘了一幅更加便捷、智能的画卷。

随着技术的不断进步和数据集的日益丰富,我们有理由相信,未来的人机交互将更加自然、高效和智能。meta的这次创新,无疑为我们打开了一扇通往未来数字世界的大门。

来源:ITBear科技资讯

相关推荐