丨目录：

· 摘要

· 背景

· 系统设计

· 模型设计

· 实验评测

· 总结展望

· 参考文献

摘要

图表征(Graph Embedding)它是近年来信息检索领域最流行的方法之一，但它们往往建模在平坦的欧氏空间中。近年来，研究发现，欧氏空间在建模特定的图形结构，如层次和环形结构时自然存在误差。在本文中，我们将介绍如何使用非欧洲地图表征来提高复杂异构图的建模精度，并在阿里母亲的搜索广告场景中获得在线收入。该项工作已被国际数据工程顶级会议ICDE 2022 (International Conference on Data Engineering) 收录，相应的框架也已开源，欢迎有兴趣的朋友阅读交流。

论文：AMCAD: Adaptive Mixed-Curvature Representation based Advertisement Retrieval System

下载：https://arxiv.org/abs/2203.14683

开源地址：https://github.com/alibaba/Curvature-Learning-Framework

背景

搜索广告作为电子商务场景的核心业务之一，旨在满足用户的搜索意图（Query）准确检索接触相关商品（Item、Ad）。图表征检索是目前信息检索领域最流行的方法之一，但它们通常是在平坦的欧氏空间中建模的CurvLearn开源 | 根据阿里妈妈曲率学习框架的详细说明，在面对不均匀的图数据时，图表征会有不可避免的精度损失。

淘系搜索广告图(如图1所示)往往呈现出复杂异构的特征；一方面，Query节点具有语义上下位词关系，可映射到类别树上，整体呈现较强的层次结构；Item/Ad节点均位于叶类，根据共现关系构图聚集性强，整体呈现出较强的环形属性。

对于这种大规模复杂的异构图，单一的表征空间限制了图形建模的精度。为此，我们提出了自适应非欧洲表征广告检索系统AMCAD，混合曲率空间首次应用于大型工业数据，使模型端到端根据复杂的数据结构自动学习损失最小的表征空间。

系统设计

样本构造

图2显示了淘系搜索广告图的结构过程。搜索后，用户连续点击，其中和，属于同一个婴儿（Item），用虚线框表示。然后分别与、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、Click边，同时相邻Item/Ad它们也相互连接Co-click边。在上述大量用户行为图的基础上，根据Query语义相似度及之间Ad共同购词程度分别构建Semantic边及Co-bidding边。最终构造的图数据包括Query、Item、Ad三种节点，Click/Co-click、Semantic、Co-bidding多种边。

训练样本由一对正样本和一个负样本组成。通过预定义的具体样本metapath游走生成，负样本是随机游走生成的，可分为简单负样本和困难负样本。

模型设计

基于CurvLearn(开源地址:https://github.com/alibaba/Curvature-Learning-Framework）非欧深度学习算子，AMCAD通过自动学习空间曲率和动态组合权重，利用各种曲率空间表征不同异构节点，实现复杂异构图的高精度表征。图3展示了AMCAD具体设计，左侧为模型整体结构，从底到上分为以下三个阶段：

1. 自适应混合曲率编码（Node-level Adaptive Mixed-curvature Encoder）

它旨在将节点映射成多个曲率空间的笛卡尔积，模型根据节点类型和特点自动学习最佳曲率空间组合。给出一种类型的节点和特征。通过每一个特征，我们通过Embedding Lookup产生欧氏空间的致密向量。第一个欧氏空间向量 通过Exponential Map即映射到曲率为的非欧洲空间。以上过程可以形式表示：

为了更好地捕捉节点的上下文信息，我们介绍了GNN该模块汇集了邻居的信息。具体来说，在第一卷积层中，节点混合曲率空间的表征为，其类型为邻居，因此积累的信息定义为：

402 Payment Required

非欧非线性表换后，第卷积层更新为：

注意到一些节点同时参与各种结构的组成，我们设计了曲率集成模块，以聚合不同的曲率空间信息，以增强不同拓扑结构下的整体表达。聚合多曲率空间的信息向量定义为：

402 Payment Required

多空间信息交互后的曲率表征更新为：

402 Payment Required

2. 边级空间映射（Edge Space Projection）

由于异构节点具有不同的几何特性，以适应不同的空间曲率，我们将节点映射到相同的混合曲率空间，以统一测量相似性（点击、语义、竞买等）。为了统一测量相似性。

??，它们具备类型的边，由此在第个曲率空间下它们的距离计算为

三、子空间距融合（Subspace-distance Combination）

注意到不同关系具备不同的结构特性，如query-query相比于item-item因此，我们引入了更强的层次结构特征attention该机制自动生成不同曲率空间的权重，以适应结构特征。考虑到召回架构的有效性，我们将分解子空间的权重分解为：

402 Payment Required

402 Payment Required

节点对非欧距离相似度的最终导出为：

基于相似度计算的模型使用模型triplet loss，节点表征、空间曲率和模型参数基于黎曼优化器的联合优化。

在线检索

基于CurvFaiss，我们将快速的近邻检索扩展到上述非欧洲测量。由于数据分片和指令集的高度并行优化，可以准确实时地构建亿级倒排索引。基于倒排索引，我们构建了图4所示的双层检索架构。在线服务接受用户行为输入Trigger，包括Query以及一系列用户的前置点击Item，系统首先通过第一层倒排索引Trigger扩展到更丰富Query和Item信号，然后通过第二层倒排索引搜索与信号相关的广告候选人。与单层架构相比，双层架构的检索深度和多样性得到了显著提高。

实验评测

离线实验

我们比较了欧氏空间模型、单曲率空间模型和混合曲率空间模型三种基线方法。基于淘系单日搜索数据的训练数据， 包括实验指标AUC，Hitrate及nDCG，汇总结果如表1所示。从结果看AMCAD所有指标均优于对照算法；特别是，只有修改模型空间类型，才能发现欧氏空间、单曲率空间和混合曲率空间的实验效果依次上升，平均指标增加20%以上。

如表2所示，进一步的消融实验显示了模型设计中每个模块的必要性，其中混合曲率编码收入最为明显。详见篇幅系统可视化、参数设置和分析。

在线实验

图5显示了不同qps下在线双层检索架构的效率。可以发现，即使要求压力增加了十倍，系统延迟也只增加了不到一倍，这验证了AMCAD检索效率在百亿流量下。

基于7天线上真实流量检查，AB实验结果如表3所示。氏系统，AMCAD带来了可观的点击率及广告收入提升。由于线上还存在其他检索系统，我们统计了此检索通道的单独效果，可以发现单通道的涨幅效果是极为显著的。

进一步分层分析结果如表4，AMCAD收益集中于头部，这表明非欧表征相比于欧氏表征，能更精准的检索出相关的热门商品。目前AMCAD已全量上线，稳定服务淘宝搜索流量半年以上。

总结展望

相对于欧氏空间，非欧空间能更好地建模真实数据中存在的复杂结构。由于非欧空间独立于模型，理论上可以推广到任意的模型结构，并兼容原始欧氏模型，具备很高的应用潜力。AMCAD是混合曲率空间在业界检索系统中的首次上线应用，希望能为大家带来启发，共同推进非欧空间在更多工业场景下的落地发芽。

参考文献

[1] Nickel, Maximilian and Douwe Kiela. “Poincaré Embeddings for Learning Hierarchical Representations.” NIPS 2017

[2] Bachmann, Gregor et al. “Constant Curvature Graph Convolutional Networks.” ICML 2020

[3] Gu, Albert et al. “Learning Mixed-Curvature Representations in Product Spaces.” ICLR 2019

[4] Vinh Tran, Lucas et al. “HyperML: A Boosting Metric Learning Approach in Hyperbolic Space for Recommender Systems.” WSDM 2020

[5] Zhu, Shichao et al. “Graph Geometry Interaction Learning.” NIPS 2020

[6] Wang, Shen, et al. "Mixed-curvature multi-relational graph neural network for knowledge graph completion." WWW 2021

END

也许你还想看

丨CurvLearn开源 | 阿里妈妈曲率学习框架详解

丨图深度学习模型进展和在阿里搜索广告中的应用创新

丨从二值检索到层次竞买图——让搜索广告关键词召回焕然新生

丨CIKM 2021 | 基于异质图学习的搜索广告关键词推荐

喜欢要“分享”，好看要“点赞”哦ღ~

↓欢迎留言参与讨论↓