Many adversarial attacks have been proposed to invesigate the security issues of deep neural networks. In the black-box setting, current model stealing attacks train a substitute model to counterfeit the functionality of the target model. However, the training requires querying the target model. Consequently, the query complexity remains high, and such attacks can be defended easily. This study aims to train a generalized substitute model called “Simulator” which can mimic the functionality of any unknown target model. To this end, we build the training data with the form of multiple tasks by collecting query sequences generated during the attacks of various existing networks. The learning process uses a mean square error-based knowledgedistillation loss in the meta-learning to minimize the difference between the Simulator and the sampled networks The meta-gradients of this loss are then computed and ac.cumulated from multiple tasks to update the Simulator and subsequently improve generalization. When attaking a target model that is unseen in training, the trained Simulator can accurately simulate its functionality using its limited feedback. As a result, a large fraction of queries can be transferred to the Simulator thereby reducing query complexity. Results of the comprehensive experiments conducted using the CIFAR-10, CIFAR-100, and TinyImageNet datasets demonstrate that the proposed approach reduces query complexity by several orders of magnitude compared to the baseline method. The implementation source code isreleased online [2]

Translation

为了研究深度神经网络的安全问题，已经提出了许多对抗性攻击方法。在黑盒设置中，当前的模型窃取攻击训练替代模型来伪造目标模型的功能。但是，训练需要查询目标模型。因此，查询复杂度仍然很高，并且可以轻松防御此类攻击。本研究旨在训练一个称为“模拟器”的通用替代模型，该模型可以模拟任何未知目标模型的功能。为此，我们通过收集各种现有网络攻击过程中产生的查询序列，以多任务的形式构建训练数据。学习过程在元学习中使用基于均方误差的知识蒸馏损失来最小化模拟器和采样网络之间的差异。然后计算并从多个任务中累积该损失的元梯度以更新模拟器和随后改进泛化。当攻击在训练中看不见的目标模型时，经过训练的模拟器可以使用其有限的反馈准确地模拟其功能。因此，可以将大部分查询传输到模拟器，从而降低查询复杂性。使用 CIFAR-10、CIFAR-100 和 TinyImageNet 数据集进行的综合实验结果表明，与基线方法相比，所提出的方法将查询复杂度降低了几个数量级。实现源码已在线发布 [2]

Summarize

• 提出了一种名为 Simulator Attack 的新型黑盒攻击。 它侧重于训练一个广义替代模型（“Simulator”）来准确模仿任何未知目标模型，以降低攻击的查询复杂度。为此将攻击许多不同网络时产生的查询序列作为训练数据；
• 所提出的方法在元学习的内部和外部更新中使用基于 MSE 的知识蒸馏损失来学习模拟器；
• 可以在训练之后将大量查询转移到模拟器，从而降低与基线相差的几个数量级查询复杂度的攻击。

本文致力于降低 query-based attack 的查询复杂度，因为假若攻击单个样本仅需要两位数的查询量时，该攻击便具有现实威胁。我们发现，任何黑盒模型都可以被一个相似的代理模型（即模拟器）所替代，如果能将一部分查询转移到这个模拟器上，那么真正的目标模型的查询压力便随之降低。为了做出这种模拟器，研究者们不断探索，诞生了被称为模型窃取攻击的办法，然而，模型窃取攻击需要在训练模拟器的时候大量查询目标模型。因此，这种攻击方式仍然会造成大量的查询，而且这种查询可以轻易地被目标模型的拥有者检测和防御。模拟器攻击首次解决了这个问题，Simulator 在训练的阶段中没有与目标模型有任何交互，仅仅是攻击时花费少量的查询，可以极大地节省攻击的查询量。总结一下，模拟器攻击在训练阶段时使用大量不同的现有模型生成的训练数据，并且将知识蒸馏损失函数应用在元学习中，这样在测试的时候就可以模拟任何未知的黑盒模型。

在本研究中，我们专注于在不使用目标模型的情况下训练替代模型并产生基于分数的攻击。

Initialization. 算法 1 和图 2 给出了训练过程。在训练中，我们随机抽样 $K$​​​​​​​ 个任务形成一个小批量。在学习每个任务的开始。模拟器 $\mathbb{M}$​​​​​ 使用最后一个小批量学到的权重 $\theta$​​​ 重新初始化它的权重。在外部更新步骤中，保留这些权重用于计算元梯度。

Meta-train. $\mathbb{M}$ 对元训练集 $D_{\text{mtr}}$​ 执行梯度下降，进行多次迭代(内部更新)。这个步骤类似于在知识蒸馏中训练一个学生模型，与攻击的微调步骤相匹配。

Meta-test. 经过多次迭代，$\mathbb{M}$​​​​ 的权值更新为 ${\theta }^{\prime }$​​​​。然后，基于 $\theta \prime$​​​​ 条件下的第 $i$​​​​ 个任务的元测试集，计算损失 $L_i$​​​​。随后，将元梯度 ${\nabla }_{\theta }{L}_i$​​​​ 计算为高阶梯度。然后将 $K$​​​​ task 的 ${\nabla }_{\theta }{L}_1,\dots ,{\nabla }_{\theta }{L}_K$​​​​ 平均为 $\frac{1}{k}\sum _{i=1}^k{\nabla }_{\theta }{\mathcal{L}}_i$​​​​ 用于更新 $\mathbb{M}$​​​​ (外部更新)，从而使 $\mathbb{M}$ 能够学习一般模拟能力。

Loss Function. 在训练中，我们采用知识蒸馏的损耗模型，使模拟器输出与采样网络 ${\mathbb{N}}_i$​​​​​​​​​​​ 相似的预测结果，并在内部和外部步骤中使用。给定 Bandits（老虎机攻击需要在有限差分中进行两个查询来估计梯度。因此，在每次迭代中都会生成一个查询对）生成的第 $i$​​​​​​​​​​ 个查询对 $Q_i$​​​​​​​​​ 中的两个查询 $Q_{i,1}$​​​​​​​​ 和 $Q_{i,2}$​​​​​​，其中 i ∈ { 1 , … , n } i\in \{1,\dots,n\} i∈{ 1,…,n}​​​​​ 和 $n$​​​​​ 表示元列或元测试集中的查询对个数。模拟器的 logits 输出和 ${\mathbb{N}}_i$​​​​ 分别记为 $\hat{p}$​​ 和 $p$​ 。$Eq.(1)$ 中定义的 MSE 损失函数使模拟器和伪标签的预测更接近：
$$\mathcal{L}(\hat{\mathbf{p}},\mathbf{p})=\frac{1}{\mathbf{n}}\sum _{i=1}^n{\left({\hat{\mathbf{p}}}_{Q_{i,1}}-{\mathbf{p}}_{Q_{i,1}}\right)}^2+\frac{1}{\mathbf{n}}\sum _{i=1}^n{\left({\hat{\mathbf{p}}}_{Q_{i,2}}-{\mathbf{p}}_{Q_{i,2}}\right)}^2$$

算法1：模拟器的训练算法

Input： 训练数据 D D