AXCELL的第二阶段是将相关表传递给表格分割子任务。目标是给表中每个单元格标注一个标签，指示单元格包含的数据类型。为此，我们将单元格分类为：数据集、评价指标、论文模型、引用模型以及其它（包含元数据和任务单元格）。分割示例如图1所示。

为助于分类每个单元格，我们提供提及单元格内容的上下文。我们使用BM25算法在论文全文中检索单元格内容，并将检索到的文本片段以及单元格一些手工特征输入至ULMFiT分类器，特征包含：单元格在表中的位置、是否是表头和单元格风格（详见附录）。

为处理检索到的文本片段，我们用特殊掩码替换从单元格中检索的条目，来禁止记忆通用名称（示例见图2）。然后，可将表格分割问题看作为5分类（排它）问题。这里，我们使用与”表格类型分类“任务具有相同参数的预训练语言模型和SentencePiece模型。图3概括了本阶段模型的结果。

表格分割的下一步是为数值单元格生成上下文。例如，如果我们知道数值单元格所在行存在一个数据集单元格、所在列存在模型名称单元格，则表格上下文可提供信息决定结果的数据集和模型名称，但论文包含更丰富的上下文信息用于链接。

例如，一篇研究语义分割的论文，模型在KITTI和CamVim数据集上评估，论文引言中可能提及语义分割、某文本段中测试集提及结果表、表格描述中提及KITTI、列头中提及IoU类。图3展示了上下文虚拟层级表示。

为表达层级关系，我们为每个单元格生成数种类型的上下文。

• 表格上下文，如前所述，数值单元格所在行列的其它单元格可能标记为模型、数据集或者评价指标；

• 标题上下文，表格标题；

• 提及上下文，引用表的文本片段；

• 摘要上下文，论文摘要；

• 论文上下文，论文中全文本；

然后使用收集到的上下文将潜在结果链接至预先定义的排行榜结果。

一旦我们获取到单元格上下文，AXCELL下一阶段将它们与排行榜链接，形成性能记录。目标是为一个模型取一个评价指标值，并推断它所链接的排行榜。

排行榜通过三元组（任务、数据集、评价指标名称）定义，例如：(Image Classification, ImageNet, Top1 Accuracy)能够抓取在ImageNet数据集上进行图像分类且准确率报告第一的论文。

为简化问题，我们假设排行榜是领域封闭、事先已知的。为将研究结果与排行榜匹配，我们在单元格上下文中搜寻证据，以下内容作出解释。

凭证是与任务、数据集和评价指标相关的单词或短语。

举例来说，SST-2、binary 和 polarity都可作为 Stanford Sentiment Treebank 数据集二分类(Socher et al., 2013)的凭证。凭证使我们能够推断实体是否在上下文中提及。对于相同的例子，如果SST-2出现在表格标题上，证明表格中的数值可能与 Stanford Sentiment Treebank 数据集关联。

给定表格中一个数值单元格，我们可在该数值单元格在表格中的上下文（表中的其它单元格）中搜索每个实体（任务、数据集和评价指标）的凭证，并累积为$M$个凭证 E = { e 1 , ⋯   , e M } E=\{e_1,\cdots,e_M\} E={ e1​,⋯,eM​}，其中$e_j$的形式为$(mentio{n}_j,entit{y}_j,contex{t}_j)$。

例如，(acc, metric, table)意味着在单元格的表格上下文中找到了“acc”评价。使用这种证据集，我们目标是计算概率$\mathbb{P}(y_k|E)$，其中$y_k$为二进制变量，指示单元格是否包含排行榜 k ∈ { 1 , ⋯   , N } k\in\{1,\cdots,N\} k∈{ 1,⋯,N}的结果。

通过贝叶斯定理我们知道$\mathbb{P}(y_k|E)\propto \mathbb{P}(E|y_k)\mathbb{P}(y_k)$，通过贝叶斯定理我们可以估测
$$\mathbb{P}(E|y_k)\approx \prod _j^M\mathbb{P}(e_j|y_k)$$

由于$e_j=(mentio{n}_j,entit{y}_j,contex{t}_j)$，为建模$\mathbb{P}(e_j|y_k)$，我们需要为这些不同的元素定义联合概率模型，在结果链接模型中，我们假定一个mention可能有意地出现在给定的上下文中，用于描述单元格的内容，或者可能是噪音——错误匹配或引用了另一个单元格。

在额外简化下，我们假设
$$\begin{array}{rl}\mathbb{P}(e_j|y_k)& =\mathbb{P}(mentio{n}_j,entit{y}_j,ct{x}_j|y_k)\\ & \propto \mathbb{P}(noise|ct{x}_j)\cdot \mathbb{P}(entit{y}_j|noise)+\mathbb{P}(\neg noise|ct{x}_j)\cdot \mathbb{P}(mentio{n}_j,entit{y}_j|y_k)\end{array}$$

其中每个上下文的噪音概率$\mathbb{P}(noise|ct{x}_j)$可使用训练集计算。

最后，对于排行榜$y_k=(y_k^{(task)},y_k^{(dataset)},y_k^{(metric)})$，我们假设$\mathbb{P}(mention,entity|y_k)\propto \mathbb{P}(mention|y_k^{(entity)})$，也就是说，提及“acc”的评价指标对排行榜(Image Classification, ImageNet, Accuracy) 和 (Natural Language Inference, SNLI, Accuracy) 具有相同的条件概率。

概率$\mathbb{P}(mention|y_k^{(entity)})$，反比于具有相同mention的凭证中entity为其它类型实体的数量，即相同的mention对应的entity数量越多，概率越低（联合概率反比于分母数量，详见附录D）。

AXCELL最后一步是过滤链接分数过低、来自于引用模型、低劣（仅保留表现最好的结果）的结果。

• 首先，我们过滤与论文处理的模型无关的记录；
• 然后，移除链接分数低于给定阈值的记录，剩下的记录按排行榜分组，基于分类学中注释“越高越好”原则，对每个排行榜仅保留最好的记录，例如保留高准确率结果、低错误率的结果；
• 最后，我们移除所有低于第二阈值的结果，从而获得从论文中抽取的结果列表；

本节中我们说明用于训练和评估AXCELL模型的训练集和验证集。训练集主要来自于arXiv.org中机器学习论文的LATEX源码。精细筛选的论文中90%以上源码可用，相比从PDF文件中直接抽取，我们可以获得不需要加入人工修正的高质量的数据集。

我们使用两个主要的训练集训练模型：

• ArxivPapers：包含超过100,000篇机器学习论文的无标签数据集，用于预训练语言模型；
• SegmentedTables：表格分割数据集，每个单元格标注是否是论文、评价指标、数据集等，用于表格分割和表格类型分类；

我们使用验证集调整模型链接和过滤的性能：

• 链接分数：使用结果元组标注的超过200篇论文的数据集，抓取论文中模型表现，并链接表；

最后，我们使用我们的测试集评估端到端模型的性能：

• PWC Leaderboards：使用结果元组标注的超过2000个排行榜的数据集，用于评估端到端模型；

现在我们详细描述这些数据集。

数据集包含104,743篇2007-2020年在arXiv.org发表的论文，其中94,616篇论文可以获取到LATEX源码，我们从中共抽取到277,966张表格。由于证书限制，与本文一起发布的数据集仅包含元数据（公共领域可用）和原文链接。这个数据集无标签，设计用于自监督预训练。

数据集包含来自于354篇论文标注的表格，用于表格分类和分割。数据集包含表题中提及的数据集、表格类型（排行榜、消融、无关）和真实单元格类别标注（数据集、评价指标、论文模型、引用的模型、元数据和