摘要：人工智能 (AI) 与人形机器人的融合大大加速了人机交互 (HMI) 技术的进步。HMI 现在在工业控制和自动化、健康监测、虚拟和增强现实 (VR/AR)、机器人等多个领域发挥着关键作用。人手固有的灵活性和高精度使其能够快速执行各种任务，使手势识别技术成为 H
第一作者：Aobo Cheng，Xin Li
通讯单位：清华大学
DOI: 10.1038/s41467-024-55649-1
背景介绍
人工智能 (AI) 与人形机器人的融合大大加速了人机交互 (HMI) 技术的进步。HMI 现在在工业控制和自动化、健康监测、虚拟和增强现实 (VR/AR)、机器人等多个领域发挥着关键作用。人手固有的灵活性和高精度使其能够快速执行各种任务，使手势识别技术成为 HMI 的重要组成部分。与捕捉其他身体部位的动作作为 HMI 的输入方法相比，基于手势的交互提供了卓越的直观性和便利性。用户可以通过简单的手势执行各种命令，从而提高操作效率和用户体验。当前的手势识别系统主要分为两类：非接触式设备（例如，摄像头和无线设备）和接触式设备（例如，检测手部力学和表面肌电图）。虽然非接触式方法易于使用，但它们容易受到环境干扰并且需要复杂的设置。现有的接触式设备通常需要将笨重的配件连接到手或前臂，从而影响用户的舒适度。这些因素会阻碍用户的沉浸式体验，并妨碍准确捕捉精细动作，例如手写字母识别。手腕提供了有关手部运动的全面信息，因此腕带因其战略位置和固有结构而成为一种引人注目的解决方案。腕带能够捕捉全面的手部运动数据，同时减轻用户的负担。凭借卓越的融合能力和人体工程学设计原理，腕带可穿戴设备已被证明在基于手势的HMI中非常有效。
随着科技的进步，人们对手写识别设备的发展寄予厚望。在虚拟手写识别应用中，准确性、舒适性和可穿戴性是最重要的。目前手写识别技术可分为在线和离线。在线识别涉及实时跟踪笔尖运动，通常在基于笔的计算机屏幕或专门的绘图工具上进行。这些设备可以显示正在书写的手写笔画。相反，离线识别侧重于从物理文档或照片中捕获和解释书面文本，通常采用光学字符识别或智能单词识别。然而，这些方法往往受到现有设备或识别机制的限制，阻碍了它们在虚拟手写场景中的应用。利用可穿戴腕带结构的手势识别来开发虚拟手写识别技术，可以突破目前虚拟环境中手写识别的缺点。
本文亮点
1. 本工作提出了一种利用智能混合织物腕带系统的手写识别技术。该系统将纺丝膜传感器集成到纺织品中以形成智能织物，从而实现智能功能。
2. 提出了一种热封装工艺，无需添加任何材料即可粘合多个纺丝膜，确保纺丝膜传感器的轻便性、透气性和可拉伸性。
3. 识别算法有助于精确地识别字母的手写，准确率为 96.63%。
图文解析
图1. 智能混合织物腕带系统。
a 智能混合织物腕带系统示意图。b 包括控制电路和电池的电容检测模块示意图。控制电路由电源模块、蓝牙（BLE）和微控制器单元（MCU）组成。c 佩戴在手腕上的智能混合织物腕带系统（IHFW）的照片。d 由全纺膜组成的六通道电容式压力传感器的照片。e 通过热封装封装在一起的两种薄膜的交联界面形貌。实验进行了六次，结果相似。f 腕带人机交互界面系统的数据流程图。
图2. 电容式压力传感器的热封装工艺和特性。
a 热封装工艺示意图。b 在不同热封装温度下电纺膜的扫描电子显微镜（SEM）图像（压力：100 kPa；模式尺寸：1 mm × 10 mm）。实验进行了四次，结果相似。c 不锈钢模具和封装工艺示意图。d 由热塑性聚氨酯 (TPU) 薄膜和银纳米线-热塑性聚氨酯 (AgNWs/TPU) 薄膜组成的传感器阵列示意图。e–f TPU 薄膜和 AgNWs/TPU 薄膜的 SEM 图像。实验进行了六次，结果相似。g 三种不同介电层类型的灵敏度曲线。h 器件响应时间信号图。i 不同压力下器件的响应信号。j 机械耐久性测试。所提出的传感器最多可执行 1500 次连续按压释放循环。
图3. 检测原理和日常应用。
a 传感器通道放置图。b 手指弯曲和手腕弯曲动作产生的传感器信号。比例尺，12 pF。c 不同速度下相同动作的信号图。比例尺，20 pF。d–f 重复动作获得的信号波形。分别是食指反复画圈、握拳伸掌、食指弯曲等动作。比例尺，15 pF。g 电容阵列硬件检测示意图，包括电源、微控制器单元 (MCU)、模拟开关和 NE555 芯片。h 深度学习神经网络结构图。i 手抓球时的信号图。比例尺，15 pF。j CNN softmax 层物体识别信号的聚类结果。k 系统控制贪吃蛇游戏中蛇的上下左右移动。比例尺，20 pF。
图4. 虚拟手写识别。
a 手写字母照片，显示字母“U”。b 手写“U”、“N”和“W”的信号图。黑色标记实际笔画，黄色标记虚拟笔画。比例尺，15 pF。c 26 个手写字母的信号图输出。比例尺，25 pF。d, e 图（d）和图（e）分别是以两种速度书写单词‘HELLO’和‘WORLD’时的信号。比例尺，20 pF。f 手写26个字母的相关系数。g 26个手写单词的相关系数分布曲线。h 每个手写字母的识别准确率。数据以平均值+/- SD表示，样本量（n）为6。
来源：华算科技