• 引入新任务：机器翻译
• 引入新的神经结构：sequence-to-sequence
  • 机器翻译是 sequence-to-sequence 主要用例
• 引入新的神经技术：注意力
  • sequence-to-sequence 通过 attention 得到提升

机器翻译(MT)是句子 $x$ 从一种语言(源语言)转换成另一种语言(目标语言)的句子 $y$ 的任务。

机器翻译研究始于20世纪50年代初。

• 俄语 → 英语(促进冷战)
• 系统主要是基于规则使用双语词典，俄语单词映射到相应的英语部分

• 核心想法：从数据中学习概率模型

• 假设我们在翻译法语 → 英语

• 给定法语句子 $x$，我们想找到它最好的英语句子 $y$

$$argma{x}_{y}P(y\mid x)$$

• 使用Bayes规则将其分解为两个组件从而分别学习

$$argma{x}_{y}P(x\mid y)P(y)$$

• $P(x\mid y)$：Translation Model / 翻译模型

  • 分析单词和短语应该如何翻译(逼真)
  • 从并行数据中学习

• $P(y)$：Language Model / 语言模型

  • 模型如何写出好英语(流利)
  • 从单语数据中学习

• 问题：如何学习翻译模型 P(x \mid y)？

• 首先，需要大量的并行数据(例如成对的人工翻译的法语/英语句子)

• 问题：如何从并行语料库中学习翻译模型 $P(x\mid y)$？
• 进一步分解：我们实际上想要考虑

$$P(x,a\mid y)$$

• $a$ 是对齐
• 即法语句子 $x$ 和英语句子 $y$ 之间的单词级对应

Examples from: “The Mathematics of Statistical Machine Translation: Parameter Estimation", Brown et al, 1993. http://www.aclweb.org/anthology/J93-2003

• 对齐是翻译句子中特定词语之间的对应关系
  • 注意：有些词没有对应词

• 对齐可以是多对一的

• 对齐可以是一对多的

• 有些词很丰富

• 对齐可以是多对多(短语级)

• 我们学习很多因素的组合，包括

  • 特定单词对齐的概率(也取决于发送位置)
  • 特定单词具有特定多词对应的概率(对应单词的数量)

Source: ”Statistical Machine Translation", Chapter 6, Koehn, 2009. https://www.cambridge.org/core/books/statistical-machine-translation/94EADF9F680558E13BE759997553CDE5

• SMT是一个巨大的研究领域

• 最好的系统非常复杂

  • 数以百计的重要细节我们还没有提到
  • 系统有许多独立设计子组件工程
  • 大量特征工程
    • 很多功能需要设计特性来获取特定的语言现象
  • 需要编译和维护额外的资源
    • 比如双语短语对应表
  • 需要大量的人力来维护
    • 对于每一对语言都需要重复操作

• 神经机器翻译(NMT)是利用单个神经网络进行机器翻译的一种方法

• 神经网络架构称为 sequence-to-sequence (又名seq2seq)，它包含两个RNNs

• 序列到序列不仅仅对机器翻译有用

• 许多NLP任务可以按照顺序进行表达

  • 摘要(长文本 → 短文本)
  • 对话(前一句话 → 下一句话)
  • 解析(输入文本 → 输出解析为序列)
  • 代码生成(自然语言 → Python代码)

• sequence-to-sequence 模型是条件语言模型的一个例子

  • 语言模型(Language Model)，因为解码器正在预测目标句的下一个单词 $y$
  • 条件约束的(Conditional)，因为预测也取决于源句 $x$

• NMT直接计算 $P(y\mid x)$

$$P(y|x)=P\left(y_1|x\right)P\left(y_2|y_1,x\right)P\left(y_3|y_1,y_2,x\right)\dots P\left(y_T|y_1,\dots ,y_{T-1},x\right)$$

• 上式中最后一项为，给定到目前为止的目标词和源句 $x$，下一个目标词的概率

• 问题：如何训练NMT系统？

• 回答：找一个大的平行语料库

• Seq2seq被优化为一个单一的系统。反向传播运行在“端到端”中

• 我们了解了如何生成(或“解码”)目标句，通过对解码器的每个步骤使用 argmax

• 这是贪婪解码(每一步都取最可能的单词)

• 这种方法有问题吗？

• 贪婪解码没有办法撤销决定

• 如何修复？

• 理想情况下，我们想要找到一个(长度为 $T$ )的翻译 $y$ 使其最大化

• 我们可以尝试计算所有可能的序列 $y$

  • 这意味着在解码器的每一步 $t$ ，我们跟踪 $V^t$个可能的部分翻译，其中 $V$ 是 vocab 大小
  • 这种 $O(V^T)$ 的复杂性太昂贵了！

• 核心思想：在解码器的每一步，跟踪 $k$ 个最可能的部分翻译(我们称之为假设[hypotheses ] )

  • $k$ 是Beam的大小(实际中大约是5到10)

• 假设 $y_1,\dots ,y_t$ 有一个分数，即它的对数概率

$$\mathrm{score}\left(y_1,\dots ,y_t\right)=\log P_{\mathrm{L}\mathrm{M}}\left(y_1,\dots ,y_t|x\right)=\sum _{i=1}^t\log P_{\mathrm{LM}}\left(y_i|y_1,\dots ,y_{i-1},x\right)$$

• 分数都是负数，分数越高越好

• 我们寻找得分较高的假设，跟踪每一步的 top k 个部分翻译

• 波束搜索 不一定能 找到最优解

• 但比穷举搜索效率高得多

• Beam size = k = 2
• 蓝色的数字是

$$\mathrm{score}\left(y_1,\dots ,y_t\right)=\sum _{i=1}^t\log P_{\mathrm{LM}}\left(y_i|y_1,\dots ,y_{i-1},x\right)$$

• 计算下一个单词的概率分布
• 取前 $k$ 个单词并计算分数
  • 对于每一次的 $k$ 个假设，找出最前面的 $k$ 个单词并计算分数
  • 在 $k^2$ 的假设中，保留 $k$ 个最高的分值
    • $t=2$ 时，保留分数最高的 hit 和 was
    • $t=3$ 时，保留分数最高的 a 和 me
    • $t=4$ 时，保留分数最高的 pie 和 with
    • $t=5$ 时，保留分数最高的 a 和 one
    • $t=6$ 时，保留分数最高的 pie
• 这是最高得分的假设
• 回溯以获得完整的假设

• 在贪心解码中，我们通常解码到模型产生一个 令牌

  • 例如： he hit me with a pie

• 在集束搜索解码中，不同的假设可能在不同的时间步长上产生 令牌

  • 当一个假设生成了 令牌，该假设完成
  • 把它放在一边，通过 Beam Search 继续探索其他假设

• 通常我们继续进行 Beam Search ，直到

  • 我们到达时间步长 $T$ (其中 $T$ 是预定义截止点)
  • 我们至少有 $n$ 个已完成的假设(其中 $n$ 是预定义截止点)