摘要：第一作者：Jianqiang Gao通讯作者：Yang Li，Yuanyue Li，Hongsen Niu通讯单位：济南大学，山东大学，复旦大学，青岛大学DOI: 10.1002/adfm.202418463

第一作者：Jianqiang Gao

通讯作者：Yang Li，Yuanyue Li，Hongsen Niu

通讯单位：济南大学，山东大学，复旦大学，青岛大学

DOI: 10.1002/adfm.202418463

面部表情是人类通过面部肌肉的运动和变化来表达情绪、态度和反应的重要表达渠道。面部表情识别涉及使用技术自动检测和分析面部表情的变化，以识别和分类不同的情绪状态。随着计算机视觉和人工智能技术的快速发展，面部表情识别技术取得了重大进展，但仍面临一些挑战。例如，传统的计算机视觉方法侧重于无遮挡的面部区域，这使得面部遮挡成为该技术发展的主要障碍之一；光照变化会直接影响图像质量，进而对表情识别的准确性产生负面影响。为了应对这些挑战，近年来有几项研究提出了创新的解决方案。例如，Poux等人提出了一种基于具有跳跃连接的自动编码器的新方法，用于重建光盆中人脸的遮挡部分。Xia等人提出了一种新的关系感知面部表情识别方法，称为关系卷积神经网络。该方法通过自适应地捕捉关键区域与面部表情之间的关系，从而将注意力集中在最具辨别力的区域进行识别，从而解决了位姿变化、遮挡以及光照和强度变化的挑战。尽管这些研究在解决计算机视觉方法面临的问题方面取得了一些进展，但仍然存在一些局限性，例如昂贵而笨重的相机，对特定空间环境的依赖，以及对低光甚至黑暗条件的鲁棒性不足。

近年来，柔性电子技术发展迅速，基于柔性传感器的人脸表情识别逐渐显示出其独特的优势，特别是在克服传统计算机视觉方法的许多局限性方面。例如，Lee等人开发了一种具有无线通信功能的自供电、可拉伸、透明和个性化口罩，该口罩结合了言语和非言语特征来表达面部表情，有效地解决了传统面部表情识别设备的笨重和环境适应性问题。庄等提出了一种基于深度学习辅助的软表皮电子系统，该系统具有高度的可穿戴性，能够高保真地捕捉面部表情数据。通过将面部肌电图（EMG）数据输入深度学习算法，该系统显著提高了面部表情类型小样本的识别精度，突破了运动、空间和光照的限制。最近的研究推动了面部表情识别技术的发展，但仍存在一些不足，其中主要原因是目前的研究大多依赖于单个传感器信号进行面部表情识别，这可能会导致以下问题：从单个传感器信号中提取的面部表情特征有限，数据量不足，在采集过程中容易受到外部因素的干扰，降低了系统的抗干扰能力。上述问题将导致面部表情识别系统的准确性降低，并影响其整体鲁棒性。此外，为了确保数据的准确性和可靠性，用于面部表情识别的柔性传感器需要适合皮肤来捕获信号，因此生物相容性和抗菌性能对于佩戴者的安全性和舒适性至关重要。鉴于不同类型的传感器信号有其独特的特征，并且对同一面部表情运动的响应不同，迫切需要研究一种结合多个传感器信号进行面部表情分类的方法，以提高面部表情识别系统的准确性，并提供更多的分类特征。通过使用生物相容性材料制备柔性传感器并集成多个传感器信号，有望克服单个信号的局限性，从而提高系统的鲁棒性、识别精度和可穿戴性。

本文亮点

1. 本工作介绍了一种生物相容性电容式肌电双模传感器（CEDS），由电容式压力传感单元和用于电生理信号监测的干电极组成，以3D堆叠方式组装。

2. 制备了双耦合微结构，通过掺杂离子液体实现了电双层效应，显著提高了传感器的电容性能。干电极的应用有效地解决了水凝胶电极容易失水和皮肤刺激的问题。

3. 基于对单个信号的感知，分别构建了疲劳驾驶监测系统和机械手控制系统。

4. 通过进一步整合CEDS的电容和电生理信号监测功能，构建了一个1D卷积神经网络辅助的面部表情识别系统，有效地提高了表情识别的准确性，展示了基于柔性传感器技术的面部表情监测系统在实际应用中的巨大潜力。

图文解析

图1. a） i）设备准备过程和ii）基于柔性传感器的面部表情识别系统的概念图。b） 器件的SEM图像和表征分析。i） 表面SEM图像和ii）PVDF多孔膜的横截面图像。iii）静电纺丝薄膜的SEM图像。iv）不同质量分数的PVA掺杂BMMICl的FTIR图像。c） 生物相容性和抑菌试验图像。建立对照试验，分别对设备进行i）溶血率试验ii）细胞毒性试验iii）细胞存活率试验和iv）抑菌性试验。

图2. a） 器件的结构示意图和EDL效应的产生。b） COMSOL有限元分析模拟了不同压力状态下器件的应力分布。c） 在0至25 kPa的压力范围内掺杂不同质量分数（0%、20%、30%、40%）的BMMICl后，器件的电容变化量。d） 装置对相同压力的响应，有和没有微观结构。e） 施加不同压力（5、10、20、50和100 kPa）的重复性试验。f） 设备的响应/恢复时间。g） 检测限：5Pa。h） 1 MPa压力试验前后装置对0.25kPa压力响应的比较分析。i） 装置在90°扭转下的重复性试验。j） 30°、60°、90°弯曲条件下装置的重复性试验。k） 装置在1 kPa的压力下进行2000次加载/卸载循环测试。l） 设备的循环弯曲试验，连续工作循环超过15000次（45°）。m） i）疲劳监测系统的流程图ii）轻疲劳监测功能和iii）重疲劳监测功能。

图3. a） 皮肤结构示意图和sEMG信号生成。b） 使用CEDS和CGE比较握拳时手臂EMG信号。c） 使用CEDS采集的手臂EMG信号的短时傅里叶变换图像。d） 不同握力水平（5、10、15、20、25和30公斤）下的手臂EMG信号。e） 当五个手指中的每一个弯曲时，手臂的EMG信号。f） 对应于不同手部动作的手臂EMG信号。g） 机械手的相应运动由自制的EMG信号采集板控制。h） 四只手动作的数据波形图像。i） 分别应用四只手的运动来控制机械手。j） 分别使用CEDS和CGE比较运动前后心电图波形。k） 分别使用CEDS和CGE比较运动前后心电图波形的信噪比和均方根噪声。

图4. a） 人脸的面部肌肉分布图。b） 面部表情识别系统的总体概念图。c） 数据采集和处理、传输、分析和交互的系统流程图。d） 8种表情的识别结果（高兴、惊讶、蔑视、困惑、悲伤、愤怒、左眼眨眼和右眼眨眼）。e） 电容信号波形的8个表达式。f） 8种表情的EMG信号波形。

图5. a） 1D CNN辅助面部表情识别过程，包括数据采集过程、训练过程和实时识别过程。b） 1D-CNN的结构框架图。c） 神经网络训练过程中损失函数、训练精度和测试精度的实时变化曲线。d–f）单独使用电容信号、单独使用EMG信号以及两者的组合进行面部表情识别的分类结果混淆矩阵。g） 显示了i）惊讶ii）愤怒iii）微笑iv）悲伤表情符号的1D-CNN-辅助面部表情识别结果。

来源：华算科技