《因果学习周刊》第5期：NeurIPS2021 因果发现最新进展

No.05

智源社区

因果学习组

因

果

学

习

研究

观点

资源

活动

关于周刊

作为人工智能领域的研究热点之一，因果学习的研究进展和成果也引起了广泛的关注。为了帮助研究人员了解该领域的相关进展和信息，智源社区结合该领域的内容撰写了第五期《因果学习周刊》。

本周刊在上一期承担因果发现(Causal Discovery)介绍总结了最新的列表NeurIPS 2021年会议收到论文中与因果发现相关的文章，代表了因果发现领域最前沿的关注方向和最新进展，并提出了一些新的问题设置和新的算法，希望对同一领域或类似领域的研究人员有所帮助和启发。

本周刊采用社区合作模式。欢迎感兴趣的朋友参与我们的工作，共同促进因果学习社区的分享、学习和交流活动。您可以扫描文章末尾的二维码，并添加因果学习社区组。

贡献者：刘家硕

论文推荐

标题：NeurIPS2021 | Iterative Causal Discovery in the Possible Presence of Latent Confounders and Selection Bias了解详情

简介：我们提出了迭代因果发现(ICD)该算法用于在潜在的混合因素和选择偏差下恢复因果图。ICD依靠因果马尔可夫和可靠性假设，可以恢复潜在因果图的等价类。通过识别连接节点之间的条件，从一个完整的图开始，由单个迭代阶段组成(CI)，逐步完善这张图。独立和因果关系在任何迭代之后都是正确的，可以随时呈现ICD。本质上，我们会CI条件集的大小与图中与测试节点的距离有关，并在后续迭代中增加值。因此，每一次迭代都对之前迭代恢复的图表进行了细化，具有较小的条件集(统计效果较高)，有利于算法的稳定性。我们的经验证明，和FCI、FCI 和RFCI算法相比，ICD需要更少的CI测试可以学习更准确的因果图。

论文地址：https://arxiv.org/pdf/2111.04095.pdf

推荐理由：本文提出了迭代因果发现算法，对潜在的混淆因素和选择性偏差有很强的抵抗力。令人惊讶的是，这篇文章与之前分享的Recursive Causal Structure Learning in the Presence of Latent Variables and Selection Bias文章在题目上有很强的相似性，问题设置也很相似，但作者属于两个科研机构，感兴趣的朋友可以比较这两篇文章。

标题：NeurIPS2021 | Recursive Causal Structure Learning in the Presence of Latent Variables and Selection Bias了解详情

简介：在潜在混淆变量和选择偏差的情况下，我们考虑从观测数据中学习系统的因果MAG(Maximal Ancestral Graph)的问题。基于约束的方法是解决这个问题的主要方法之一，但现有的方法要么太贵，要么缺乏完整性保证。我们提出了一种健全完整的新的计算有效递归约束方法。我们方法的关键思想是在每次迭代中识别和删除特定类型的变量。这使得我们能够有效地递归学习结构，因为这种技术不仅减少了所需的独立条件(CI)测试的数量减少了条件集的大小。前者大大降低了计算的复杂性，后者更可靠CI测试。在最坏的情况下，我们提供所需的CI测试数量的上限。据我们所知，这是文献中最紧密的上界。我们进一步提供了任何基于约束的方法CI下界测试数量。在最坏的情况下，我们提出的方法最多有一个等于变量数的因素。通过模拟和真实实验，我们还将提出的方法与当前最优算法进行了比较。

论文地址：https://arxiv.org/pdf/2110.12036.pdf

推荐理由：本文提出了学习因果的潜在混淆因素和选择性偏差MAG算法，并给出了很强的理论分析。

标题：NeurIPS2021 | Collaborative Causal Discovery with Atomic Interventions了解详情

简介：我们引入了一个新的协同因果发现问题。在这个问题的场景中，我们有许多独立的实体，每个实体都有自己的因果图。我们的目标是同时学习所有这些因果图。在没有因果充要假设的情况下，我们研究了这个问题，并使用了伟大的祖先地图(MAG)假设我们有能力主动对实体进行独立的单顶点(或原子)干预。如果实体的M底层(未知)因果图满足了聚类的自然性质，我们提出了使用该性质的算法，并且只需要对每个实体进行处理log(M)所有因果图都可以通过次原子干预来恢复。这明显少于每个实体学习每个因果图所需的n次原子干预，其中n是因果图中可观察节点的数量。此外，我们还提出了一个下界来补充我们的结果，并讨论了我们在各种协同设置下的扩展。

论文地址：https://arxiv.org/pdf/2106.03028.pdf

推荐理由：在因果发现的基础上，本文提出了一个新的问题设置，即协同因果发现，非常新颖，具有很强的实际意义。

标题：NeurIPS2021 | Matching a Desired Causal State via Shift Interventions了解详情

简介：将因果系统从给定的初始状态转化为预期的目标状态是控制理论、生物学、材料科学等领域的重要课题。在因果模型中，这种转变可以通过实施一系列干预来实现。在本文中，我们的研究目标是通过积极学习来确定能够匹配系统预期平均值的干预。我们定义了可以从转移干预中识别的马尔可夫等价类，并提出了两种积极的学习策略，以确保完全匹配预期平均值。然后，我们推断出所需干预数量最差的下界，并证明这些策略对某些类别的图纸是最好的。特别是，我们表明，我们的策略需要的干预可能比以前考虑的要少得多，优化了潜在因果图中的结构学习。与我们的理论结果一致，我们还通过实验证明，我们提出的积极学习策略比几种基线方法需要更少的干预。

论文地址：https://arxiv.org/pdf/2107.01850.pdf

推荐理由：本文首先提出并研究了一个有趣的问题，Causal Matching，也就是说，如何确定干预使干预后的系统与当前系统相匹配，值得推荐。

标题：NeurIPS2021 | Instance-dependent Label-noise Learning under a Structural Causal Model了解详情

简介：由于深度神经网络容易过拟合标签噪声，标签噪声会降低深度学习算法的性能。Y例子和清洁标签分别表示。X例如，许多数据集的生成机制(如SVHN和CIFAR)，P(X)和P(Y|X)的分是纠缠的。这意味着无监督实例有助于学习分类器，从而减少标签噪声的副作用。然而，如何利用因果信息来处理标签噪声问题仍然是一个难题。在本文中，我们利用结构化的因果模型，提出了一种新的生成方法，用于实例依赖的标签噪声学习。特别地，我们表明适当地建模实例将有助于标签噪声转移矩阵的可识别性，从而学习到更好的分类器。从经验上看，我们的方法在模拟和真实标签噪声数据集上都优于所有最先进的方法。

论文地址：https://arxiv.org/pdf/2109.02986.pdf

推荐理由：本文提出了一个生成模型来解决含噪声标签的学习问题，并使用了结构因果模型来构建这样的生成模型，具有很好的启发意义。

标题：NeurIPS2021 | Learning latent causal graphs via mixture oracles了解详情

简介：我们研究在潜在变量存在的情况下，从数据重建一个因果图模型的问题。我们感兴趣的主要问题是恢复潜在变量的因果结构，同时允许变量之间存在一般的、潜在的非线性依赖关系。在许多实际问题中，原始观测值(如图像中的像素)之间的相关性远不如某些高级的、潜在的特征(如概念或对象)之间的相关性，这也是我们的研究目标。我们提供了一些条件，在这些条件下，潜在的表征和潜在的因果模型都可以通过一个Mixture Oracles被识别。证明是构造性的，并由此导出了几个算法来显式重建完整的图形模型。我们讨论了有效的算法，并提供了实验来说明算法的实际应用。

论文地址：https://arxiv.org/pdf/2106.15563.pdf

推荐理由：本文研究了潜在因果图的学习问题，并给出了可识别性的前提条件，具有较大的参考价值。

标题：NeurIPS2021 | Causal Effect Inference for Structured Treatments了解详情

简介：本文对结构化干预(如图表、图像、文本数据)的条件平均干预效果(Conditional Average Treatment Effects)进行估计。在干预效应的弱条件下，我们提出广义Robinson分解，它 (1)分离因果估计从而减少正则化误差，(2)允许接入任意模型进行学习，(3)在温和的假设下具有quasi-oracle的收敛保证。在小世界和分子图的实验中，我们证明了我们的方法在CATE估计方面优于之前的工作。

论文地址：https://arxiv.org/pdf/2106.01939.pdf

推荐理由：本文使用GNN来建模treatment的结构，并接入了模型之中，相较于之前的算法更加精细，具有更好的性能。

标题：NeurIPS2021 | BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery了解详情

简介：结构方程模型(SEM)是对有向无环图(DAG)所表示的因果关系进行推理的有效框架。最近的进展使得从观测数据中有效地估计DAG的最大似然点成为可能。然而，在真实的DAG是不可识别的和/或观测数据有限的情况下，点估计可能不能准确地刻画推断潜在图过程中的不确定性。我们提出了贝叶斯因果发现网络，一个变分推理框架，用于估计线性高斯SEM的DAG的分布。由于图的离散和组合性质，在DAG上开发一个完整的贝叶斯后验是具有挑战性的。我们分析了可扩展VI在DAG上的关键设计选择，例如 1)通过有表达能力的变分族来参数化DAG,  2)实现低方差连续随机优化的近似，以及 3)选取恰当的隐变量先验分布。我们提供了一系列关于真实数据和模拟数据的实验，表明在低维数据下，所提出方法在标准因果发现指标(如结构汉明距离)上优于最大似然方法。

论文地址：https://openreview.net/pdf?id=gbtDcLzwKUb

推荐理由：本文提出使用贝叶斯网络来估计DAG图，特别是刻画估计过程中的不确定性，具有一定的应用价值。

标题：NeurIPS2021 | Interventional Sum-Product Networks: Causal Inference with Tractable Probabilistic Models了解详情

简介：虽然概率模型是研究因果关系的一个重要工具，但这类方法主要受限于过高的推理复杂度。作为迈向可行因果模型的一步，我们考虑了使用门函数(例如神经网络)过参数化的和积网络(SPNs)来学习干预分布(inventional distributions)的问题。门函数提供一个任意干预的因果图作为输入，有效地包含了Pearl提出的Do操作，来预测SPN的参数。由此产生的干预性SPN是由一个以个人健康为主题的结构性因果模型来解释和验证的。我们对来自生成模型和因果模型的基线方法的试验结果表明，干预SPN确实既具有表达性，又具有因果性。

论文地址：https://arxiv.org/pdf/2102.10440.pdf

推荐理由：本文使用门函数来学习do-intervention之后的数据分布，具有很强的参考意义。

研究动态

智源LIVE丨智源因果社群：更优的协变量调整的平均因果作用估计

2021年11月17日，北京大学公共卫生学院研究员，博士生导师贾金柱在智源社区线上做了题为《更优的协变量调整的平均因果作用估计》的报告。

报告简介：在因果推断中，有协变量的时候，协变量的引入可能会提高因果效应估计的精度。但是如果建模不恰当，可能会带来负面影响。通过为潜在结果和协变量指定一个工作模型，可以证明，即使工作模型被错误指定，平均因果作用的估计也是一致和渐近正态的。本次报告中提出了一种设计良好的广义估计方程方法，在较为合理的条件下，协变量调整后的估计的平均因果作用总是比简单的均值差估计更有效。

报告视频回放和PPT下载：

https://event.baai.ac.cn/activities/186

如果你正在从事或关注 因果学习研究、实现与应用，欢迎加入“智源社区-因果学习-交流群”。在这里，你可以：

• 学习前沿知识、求解疑难困惑

• 分享经验心得、展示风貌才华

• 参与专属活动、结识研究伙伴

扫描下方二维码，加入因果学习兴趣群。