随着智能设备及其应用的日益普及，手势控制设备越来越受到人们的关注。最近的一些研究工作使用声音信号来跟踪手的运动和识别手势。然而，因为频率选择性下降(frequency selective fading)、干扰(interference)和缺乏训练数据(insufficient training dataa)，它们的鲁棒性差。本文提出RobuCIR，可在不同的使用场景中工作，具有较高的精度和鲁棒性。RobuCIR采用跳频机制( frequency-hopping mechanism)缓解频率选择性下降，避免信号干扰。为了进一步提高系统的强度，我们研究了一系列基于少量数据收集的数据数据增强该技术可以模拟不同的使用场景。增强数据用于有效训练神经网络模型，并处理各种影响因素（如手势速度、接收器距离等）。实验结果表明，RobuCIR能识别15个手势，在准确性和鲁棒性方面优于SoTA。

由于手势运动的复杂性，很难实现鲁棒的声学手势识别系统。基于声学手势识别的一个挑战性问题是频率选择性下降（ frequency selective fading, FSF），这是由于声学信号的多径传输以及扬声器和麦克风在高频下的失真(如≥ 18KHz）。以前的工作只发送固定频率的声音信号，在特定环境下，信号范围可能会急剧下降。可以同时在多个频率上传输声学信号，以减轻FSF高频下的影响和信号失真。然而，处理多频信号的计算成本很高，很难满足轻量级智能设备（如智能手表）的实时处理要求。另一个实际挑战是缺乏训练数据。神经网络需要足够的训练数据来覆盖不同实际场景下手势的不同变化，以确保手势识别的鲁棒性。事实上，从用户那里收集足够的培训数据是不现实的。

整体设计使我们能够实现更高的信道测量分辨率和足够的训练数据，同时减轻FSF和ISI （帧间干扰，inter-subframe interference），而不会对轻量级智能设备造成额外的计算开销。RobuCIR在各种使用场景下对15个手势的识别准确率达到98.4%。
Contributions如下：

• 通过周期性地传输不同频率的声学信号来解决多径效应引起的频率选择性衰落的问题。
• 利用CIR测量和手势变化的相关性来克服训练数据不足的问题。扩充数据自动生成，无需用户参与。
• 实验结果表明，在各种使用场景下，RobuCIR在准确性和鲁棒性方面优于最新的工作。

图2是RobuCIR的整体结构。

RobuCIR由三个主要部件组成，即收发器（Transceiver）、信道估计器（Channel Estimator）和手势识别器（Gesture Identifier）。在Transceiver中，扬声器播放用于信道测量的不可听见的帧，麦克风记录接收到的帧。在每个帧内，载波频率在多个频率之间跳跃以减轻频率选择性衰落（FSF）。然后，Channel Estimator使用最小二乘信道估计来估计信道冲激响应（CIR）。最后，Gesture Identifier将在一定时间内测量的CIR相位和幅度分别视为CIR相位图像和CIR幅度图像。为了提高系统的鲁棒性，我们对每个CIR图像执行数据增强，以便扩充的数据能够覆盖各种实际使用场景。因此，使用增强数据训练的最终模型可以处理各种环境（例如，手势速度、距离、噪声等）。增强数据用于训练CNN自动提取特征，以及训练LSTM网络执行手势识别。

图3为Transceiver的设计。
Transceiver由一个扬声器（用作发射器）和一个麦克风（用作接收器）组成，它们在单个设备中并置并同步。发射机发送预定义的信号帧，接收机通过分析接收到的信号帧来测量CIR。具体而言，发射机发送26位训练序列码（TSC），该码具有良好的自相关特性，有助于信道测量。然后对TSC进行上采样，并在传输之前将其上变频为载波频率fc。为了确保传输的帧是听不见的，载波频率被设置为高于18KHz。为了避免子帧间干扰（ISI），以前的工作在帧之间添加了保护间隔（guard intervals, GI），在帧之间添加零采样（zero samples ），以便当前帧的反射不会在后续帧中混合。

1) 减少频率选择性衰落（Mitigate Frequency Selective Fading）

现有工作将预定义的TSC符号调制并上转换为单一频率。基于单一频率的方法可能会受到FSF的影响，因为从多个对象反射的音频信号可能会相互叠加，从而大大降低系统性能。为了更好地理解FSF如何影响信道测量，我们进行了实验，并测量了在多个频率下传输时的CIR幅度和相位。在实验中，我们在收发机前做了5次推拉（push and pull）手势。我们以三种频率发送BPSK调制的TSC。
图4显示了实验期间测得的CIR幅值。
在图中，X轴表示时间，而Y轴表示CIR的tap position（不知道该如何翻译）。亮度表示CIR的大小。每个tap对应一定的延迟范围，具有相似传播延迟的反射信号汇总在同一tap中。在图4中，当在$f_{c1}$（上）传输时，由于拉和推活动，CIR幅度发生了变化。当在$f_{c2}$（中）处传输时，由于频率选择性衰落，CIR幅度显著降低，并呈现不太清晰的图案。与对CIR幅度的影响类似，频率选择性衰落也会影响不同频率下的相位测量。实验结果表明，如果处理不当，频率选择性衰落会严重影响信道测量结果，导致手势识别的精度和鲁棒性下降。
在多个频率（例如OFMD）下传输可以增强对FSF的鲁棒性，因为不同的频率分量不太可能同时以破坏性方式叠加。然而，由于FFT和IFFT运算，现有的基于多频率的方法会产生较高的计算开销。相反，我们采用跳频来在不同的载波频率（即$f_{c1}$、···、$f_{cN}$）下周期性地发射信号以减轻FSF。特别地，我们以特定载波频率（例如，$f_{ci}$）发射，并跳到相邻频率（例如，$f_{cj}$）。因此，整个信道测量帧由以N个不同频率发送的N个子帧组成。
在发射机发射第一个样本后，接收机立即开始记录反射帧。要检测接收帧中第一个样本的位置，计算发送和接收音频样本的皮尔逊相关系数（PCC），并定位相关峰值。一旦检测到帧的第一个样本，由于子帧的固定长度，当前帧和后续帧中的子帧的边界可以容易地定位并完全同步。注意，在每个接收帧内，频率周期性地从$f_{c1}$跳到$f_{cN}$。接收机通过将每个子帧与其对应的$cos(2\pi f_{ci}t)$和$-sin(2\pi f_{ci}t)$相乘来下变频该帧。然后，下变频帧通过低通滤波器过滤出高频分量。最后，使用相同频率的复向量$r(t)$提取CIR幅度和CIR相位。

2) 消除帧间干扰（Remove Inter-Subframe Interference）
这种下变频技术可以自然地消除ISI。为了了解这种下变频技术如何避免子帧间干扰，我们假设当前子帧的频率为$f_{cj}$，这可能会受到前N个子帧的干扰。因此，当前接收到的子帧可以表示为$y(t)={\sum }_{i=1}^{N+1}{A}_{i}cos(2\pi f_{ci}t+{\theta }_i)$，其中$A_i$是子帧的振幅，${\theta }_i$是多径效应引起的相位偏移，$i\in [1,N]$。通过使用$cos(2\pi f_{cj}t)$下变频，我们得到：
${\sum }_{i=1}^{N+1}{A}_{i}cos(2\pi f_{ci}t+{\theta }_i)\times cos(2\pi f_{cj}t)={\sum }_{i=1}^{N+1}\frac{A_i}{2}[(\underset{\mathbf{h}\mathbf{i}\mathbf{g}\mathbf{h}\mathbf{t}-\mathbf{f}\mathbf{r}\mathbf{e}\mathbf{q}\mathbf{u}\mathbf{e}\mathbf{n}\mathbf{c}\mathbf{y}\mathbf{c}\mathbf{o}\mathbf{m}\mathbf{p}\mathbf{o}\mathbf{n}\mathbf{e}\mathbf{n}\mathbf{t}}{\underbrace{cos(2\pi (f_{ci}+f_{cj})t+{\theta }_i)}}+\underset{\mathbf{l}\mathbf{o}\mathbf{w}-\mathbf{f}\mathbf{r}\mathbf{e}\mathbf{q}\mathbf{u}\mathbf{e}\mathbf{n}\mathbf{c}\mathbf{y}\mathbf{c}\mathbf{o}\mathbf{m}\mathbf{p}\mathbf{o}\mathbf{n}\mathbf{e}\mathbf{n}\mathbf{t}}{\underbrace{cos(2\pi (f_{ci}-f_{cj})t+{\theta }_i)}})]$

对于上式中的低频分量，有：
${\sum }_{i=1}^{N+1}$