• 本文的方法是基于表面肌电图监测肌肉活动
• 基于柔性传感器

在此，我们报告了基于丝网印刷电极阵列和传感器中适形电极阵列的可穿戴表面自适应学习能力。我们的系统实现了实时手势分类、不同条件下模型训练和更新的神经启发超维计算法，如不同的手臂位置和传感器更换。该系统可对13个手势进行分类，每个手势进行一次测试，准确率为97.12%。当扩展到21个手势时，保持高精度(92.87%）

介绍

与将原始数据无线传输到外部计算设备相比，生物传感器信号的本地（传感器）处理具有降低通信链路带宽和无线电功率需求的优点。

使用表面肌电图(sEMG)19-24手势识别受益于传感器内处理的混合系统。基于表面肌电信号的手势识别设备可以通过放置在皮肤表面的电极来测量肌电活动，模式识别从这些信号中提取的特征。理想情况下，这些设备应具有高通道计数和高密度电极放置数和高密度电极放置，以实现更全面的空间覆盖，提高26、27的分类精度，以及传感器中的智能，可以促进或适应各种磨损条件。现有设备要么是不可穿戴的因素26，依赖于外部设备计算28，要么依赖于12、29重电极12、29、30。另外，传感器内(在线)训练系统不支持传感器内模型更新29、30。因此，这些系统无法适应信号的变化，从出汗、疲劳、不同的肌肉收缩努力和电极位移，如肢体和身体位置或设备脱落和穿戴13-18。

在本文中，我们报穿戴的高密度表面肌电信号生物传感系统(图1a)，该系统采用超维(HD)用于手势分类，实现传感器中的自适应学习和实时推理。高清计算是一种支持快速简单学习的新兴计算范式，自然具有抗噪音和错误的鲁棒31。HD使用简单的计算操作等复杂任务，如分类或推理31，由非常高维的向量(超向量)表示的信息进行计算。这种方法已经在生理信号中，比如sEMG32、脑电图(EEG)33和皮质电图(ECoG)34在离线数据集中多达5类的分类任务中显示出良好的效果。

为了构建我们的系统，我们使用了连接软保形传感器和硬硅基集成电路的混合方法(ICs)。特别是在柔性基板上打印的传感电极阵列(图1)b，c)微印电路板(PCB)电路板包括复杂的传感、处理和遥测组件(图1d，e)。在薄聚对苯二甲酸乙二醇酯中，大面积、高密度电极阵列有64个通道(PET)该片由导电和介电油墨丝网印刷而成。PET该片具有高度的灵活性，在收缩和放松时符合前臂肌肉复杂的三维(3D)形式。该系统采用低功耗定制专用集成电路(ASIC)收集表面肌电信号数据进行分类。定制设计的ASIC35可以记录和数字化来自电极附近多个通道的表面肌电信号，减少了电极与信号调节电路之间巨大电缆连接的需要。我们通过一系列实时实验验证了我们的生物传感设备，模拟了真实世界用例的信号变化。当我们只使用每个手势4秒的训练数据窗口对13个手势进行分类时，我们获得的手势分类精度为97.12%。我们已经证明，分类模型可以在局部更新，从参与者移动到新手臂位置、更换设备或长期佩戴设备导致的精度下降中恢复。

设计制造混合柔性生物传感器

为了创建柔性皮肤磨损界面，我们使用导电银墨水(NovaCentrixFG57b)统一的4通过光子固化烧结×16圆形电极(直径r，4.3mm)连接痕迹(图1b，c)36。银墨配方包括粘合剂，以帮助银微片粘附并粘附在基质上。与文献28、32、37、38中报道的高密度电极阵列制造方法相比，我们的光子烧结丝印溶液允许使用温度敏感的衬底材料，只有亚秒固化时间才能进行更便宜、更快的大规模生产。然后，介电封装层(NovaCentrixDE-SP1)用通孔打印，暴露电极垫，与皮肤绝缘导电痕迹。每层印刷层为15层μm厚。选择整体尺寸(29.3cm×8.2cm)用低电极间距参与手指运动的外屈肌和伸肌活动，包裹高于平均大小的前臂的整个周长。每柱4个电极间隔14个.3mm，柱间隔17.8mm，垂直偏移量为7.15mm。
柔性电极阵列和定制的八层PCB(图1d，e)平面柔性连接器用于接口(FFC)两层适配器板(图1c)。所有64个电极阵列通道1ks?1使用定制的神经界面IC35.功耗极低(700μW)数字化。芯片上的系统现场可编程表面肌电信号门阵列(SoC FPGA)我们实现了一个完整的训练和分类算法，使系统完全独立。该设备使用2.4 GHz无线电SoC无线连接到基站计算机进行重新配置和数据记录。该板采用一块3.7V、锂离子电池240毫安，重4克。可穿戴系统的总重量为26g，计算单元PCB重6g，电极阵列和适配器重16g。在此配置中，连续手势识别的电池寿命为~功耗主要为原始数据分组和1小时以上Mbps无线传输(补充图7)。

肌电图收集的身体特征

利用我们的设备，我们收集并分析了多种磨损条件下离线表面肌电图数据集的五个参与者的典型用例（图2和补充说明1）。数据集包括不同手指自由度的屈伸(DOF；图2a)，单自由度(单DOF)手势只在四种不同的情况下执行，多自由(只在基线情况下执行)DOF)手势(补充说明1)。如图1a所示，每个参与者都佩戴该装置，阵列的中心大致与主臂的尺骨对齐（方法）。在每个电极上放一滴导电凝胶，以改善皮肤的接触和粘附。用肘关节上的心电图记录单端结构的信号Ag/AgCl电极作为参考。图2b显示了中指DOF所有64个通道记录在屈伸过程中的波形。每波形每50 ms根据该段获得的平均绝对值(MAV)特征着色表示表面肌电信号的局部振幅。在拮抗运动中，可以看到不同通道亚群(覆盖前屈肌或后伸肌)的活动。
使用我们可穿戴生物传感系统获得的信号质量和传统商业表面肌电图界面(NinaProDB4中使用的Cometa)39-41以及台式高密度表面肌电图采集装置(CapgMyo)比较了42的相同手势记录。为了比较记录的功率谱，我们计算了韦尔奇功率谱密度估计值中间伸长手势（手势4），在所有三个设备中产生最高信噪比（图2）c）。不同录音的频率内容性质相似。计算斑点的信噪比(图2)d)。由于不同的通道和不同的手势，整体信噪比(按现场信噪比的积分计算)发生变化(图2e）。Cometa和CapgMyo该系统对最佳信道和相关最佳手势表现出更好的峰值信噪比，这可能是因为该系统由差异、双极记录配置和改进的共模噪声抑制组成。尽管如此，这三个系统的中值信噪比大致相同。此外，我们系统的信噪比在长时间佩戴2小时前后相似。在此期间，参与者可以出汗，导电凝胶可以涂抹（补充图2）。

基于自适应学习的手势识别算法

我们实现了训练和推断手势的高清算法31。将原始数据或预处理特性(连续值和低维)投射到1000d双极（{?1 1}1000，为了简单描述数学操作)或二进制({0，1}1000，实现数字逻辑)超向量信息完全分布在所有位置，类似于人脑用巨大的神经元和突触电路学习和记忆。分类任务的学习可以通过计算集群质地或原型超向量来实现，每个都代表一个类。类似地，推理可以利用汉明距离实现在学习的类原型超向量内对给定查询超向量的最近邻搜索。图3描述了将表面肌电信号数据投影到超向量的算法。同样的投影过程用于学习和推理，允许重用硬件模块进行传感器内训练和分类43。信号在250 ms处理滑动窗，重叠率80%，延迟250 ms，分类吞吐量为每秒20个预测，适用于实时控制44、45(图3a)。每个窗口被细分为50个 ms每段计算每个通道的特征段MAV特征。补充说明2中详细描述了特征选择和超参数调优。对每指数t，将特征向量ft投影到空间信息的超向量St中，即哪个电极通道具有较高的特征值(图3b，c)。电极通道通过存储在项目存储器中(IM)在整个算法的训练和部署过程中，伪随机的双极超向量表示保持不变。每个电极通道的向量IM(ch)根据相应的特征值ftchI缩放，所有缩放的向量按元素方向求和。由此获得的空间超向量形成St?σPchIMeeTf tchI，其中σ使正元素为双极阈值函数 1.负元素为1(图3c)。

总结

我们已经报道了一个独立的表面肌电图生物传感系统，采用高清计算来处理和分类手势。我们系统的所有功能，包括使用打印的柔性电极接口进行数据采集，以及使用机器学习模型进行训练和分类，都集成到不需要外部计算的紧凑设备中。我们的生物传感系统佩戴舒适，提供快速的初始训练和动态适应，这对可穿戴的人机界面应用至关重要。在这些应用中，生理信号因用户而异，而不是静态的。与其他最先进的手势识别系统相比，我们的设备可以在本地和实时进行训练、推理和模型更新，以适应不断变化的环境。
我们的研究结果有望开发出具有完整传感器中独立可穿戴设备的机器学习能力。这项工作的两个自然扩展结合了额外的情况（如更大的手臂位置）和手势转换，可以用作新的上下文或单独的类别。随着更多的信息被编码到手势原型超向量中，通过权衡内存占用来提高分类性能，并使用多个原型超向量来表示手势类，最终可能是有益的。最后，虽然我们的电极阵列几何形状用于收集前臂表面的肌电图，但低成本和复杂的丝网印刷过程可以用来与人体其他部位建立接口。这可以使心电图或脑电图等生理信号得到更广泛的应用，需要低潜伏期和自适应处理。

方法

• 柔性和刚性组件的混合接口。制作适配器PCB(一侧连接64位置FF的图1c)(XF2W-6415-1AE，欧姆龙电子)，另一侧连接两个DF12连接器(图1c)，将柔性阵列轨迹与刚性ic连接，用于表面肌电信号的采集和处理。
• 刚性组件的PCB制造。一个定制的无线神经记录和处理模块(图1d，e)，能够记录和处理64个通道的电生理信号数据，以及无线将原始信号和分类手势返回基站，连接到柔性电极阵列。使用定制的神经调节IC35（科特拉神经技术），使用d.c.-coupled前端和1 kHz采样率，记录并数字化来自电极的表面肌电信号信号。使用SoC FPGA(SmartFusion2M2S060T)进行数据聚合和预处理以及HD模型训练、推断和更新。一个2.4 GHz的无线电(nRF51822，北欧半导体)流射出原始的表面肌电信号和分类标签和距离。这些组件使小形式因素和低功耗操作(~6h的分类使用标准240mAh3.7V锂离子电池)，同时消除需要庞大的个人电缆连接每个电极到神经前端，使设备舒适穿戴长时间提高信号质量。此外，还要将信号源旁边的信号进行数字化制作的八层PCB还包含一个六轴加速度计和陀螺仪(MPU-6050InvenSense)，512Mb低功率(MT4H32MT46M16LFBF-5，微光技术)和一个额外的64通道神经调制IC35(Cortera神经技术)的目的提供惯性传感器数据，更多的车载内存和扩展数量的表面肌电通道128，尽管他们在这项工作中没有使用。
• 图形用户界面。在基站上运行了一个用Python3.7开发的自定义GUI，用于接收和记录流式数据，配置表面肌电信号采集系统，并为参与者提供手势信息和时间。GUI使实验者能够选择手势子集，更新已保存的文件的元数据，并在每次录音会议之前更新手势计时。此外，它还为参与者提供了关于当前分类手势的视觉反馈。
• 阵列应用程序。在将阵列包裹在参与者的前臂上之前，分别应用一小滴导电水凝胶（帕凝胶电极凝胶），以改善皮肤-电极界面阻抗。该阵列被放置在一个电极朝上的平面上，参与者被要求大致将该阵列的中心与他们的惯用手的尺骨对齐。当参与者保持休息时，阵列的末端被包裹在前臂的两侧，末端用胶带连接在一起。将一个商用的Ag/AgCl电极(H124SG，CovidienKendall)连接在参与者的肘部上，作为电压测量的参考电位(图1a)。
• 手势识别实验。参与者被要求执行总共21个不同的手势包括休息/放松位置和两个手指运动和位置：（1）single-DOF灵活性和扩展的手指和（2）multi-DOF手姿势涉及多个手指（图2）。每个参与者总共进行了四个实验，每个实验重复三次。实验1设计了一个分别测试单DOF和多DOF手势子集的基线精度，并通过在现有的单DOF训练模型中添加多DOF手势来测试一个包含所有21个手势的更新模型。实验2然后引入了单DOF手势的手臂位置上下文变化。参与者用手肘放在扶手上进行每个动作。在实验3中，模型首先在第1天进行训练和测试，然后在手臂上的第1天大致相同的位置在第2天重新进行更新。这引入了一个新的磨损会话上下文变化。在实验4中，参与者在最初的训练和随后的训练之间有2小时的休息时间
• 数据分割。本研究仅使用4s稳态保持期的数据进行分类。在训练和测试过程中，我们为每250 ms的数据片段生成一个时空向量，滑动50 ms的MAV特征窗口(200 ms的重叠)。因此，在一个4s的手势试验中，76个不同的向量被编码，以便在AM中积累或进行76个不同的推断。分类精度计算为与标记手势匹配的推理结果的百分比，没有任何后处理或投票。命令被发送到设备，将其置于训练、推理或更新模式，与实验和指令同步。
• 算法实现。传感器内算法在VerilogHDL中实现，并使用LiberoSoC设计软件(MicrosemiCorp.)进行合成。FPGA资源利用率和算法延迟分别见补充说明3和4。每个分类的算法能量是根据补充说明5(测量的安捷伦B2902A精度源/测量单位在20μs间隔)和周期计数（补充说明4）计算的。