生物注意机制

• 动物需要 在复杂环境杂环境下值得注意的点
• 心理学框架：人类根据随机线索和随机线索选择注意点

举个例子：

假如你面前有五件物品： 一份报纸，一篇研究论文，一杯咖啡，一本笔记本和一本书， 所有的纸制品都是黑白印刷的，但咖啡杯是红色的。 换句话说，这个咖啡杯在这种视觉环境中是突出的， 不由自主地引起人们的注意。 所以你把最敏锐的视力放在咖啡上， 下图。

红杯因其突出的非自主提示而被称为不随意线索。

喝完咖啡，你会变得兴奋，想读书。 所以你转过头，重新聚焦眼睛，然后看书， 如下图所示。 不同于上图中的突出选择， 此时，选书是由认知和意识控制的， 所以注意力是基于的自主性提示去辅助选择时会更加谨慎。 受试者的主观意愿被提升，选择的力量更强。

依靠任务的意志提示(想读一本书)，注意力被独立引导到书中，所以书被称为随意线索。

• 卷积、全连接、池化层只考虑线索
• 注意机制考虑随机线索
  • 随机线索被称为查询(query)，结合以前的内容，query就是想读书。
  • 每个输入都是一个值（value）线索不随意(key)对，结合前面，key是红杯，value它可以是一样的，也可以是不同的杯子value它可以是杯子的价值，也可以是杯子的重量。
  • 通过注意力池化层选择有偏见的输入
    • 注意力机制也可以称为注意力池化(attention pooling)，会根据query有偏见的选择key-value pair。总结注意力池(attention pooling)以及以前的池化(pooling)不同的地方是：attention显示加入query，即随机线索，然后根据query去找到感兴趣的key-value pair。

• 给定数据$(x_i,y_i),i=1,...,n$
• 平均池化是最简单的方案：$f(x)=\frac{1}{n}{\sum }_i{y}_i$
• 更好的方案是60年代提出的Nadaraya-Watson核回归$$f(x)=\sum _{i=1}^n\frac{K(x-x_i)}{{\sum }_{j=1}^{n}K(x-x_j)}{y}_i\text{\hspace{1em}(①)}$$

其中，

$x$是query；

$x_i$是key；

$y_i$是value;

K是衡量$x$和$x_i$之间距离的一个函数(kernel)，比如K值越大距离就越近，越小就距离越远；

公式中的分式，就是概率，每一项是一个相对重要性。对这项加权对$y_i$求和，意思是将和x相近那些的$x_i$和$y_i$选出来。可以这么理解，找出和query相近的key-value pair，别的就不管了。

• 使用高斯核 $K(u)=\frac{1}{\sqrt{2\pi }}\exp (-\frac{u^2}{2})$
• 那么$$f(x)=\sum _{i=1}^n\frac{\exp (-\frac{1}{2}(x-x_i{)}^2)}{{\sum }_{j=1}^n\exp (-\frac{1}{2}(x-x_i{)}^2)}{y}_i=\sum _{i=1}^{n}softmax(-\frac{1}{2}(x-x_i{)}^2)y_i\text{\hspace{1em}(②)}$$

• 在之前的基础上引入可以学习的w$$f(x)=\sum _{i=1}^{n}softmax(-\frac{1}{2}((x-x_i)w{)}^2)y_i\text{\hspace{1em}(③)}$$
  w是一元的，因为是标量而不是向量

1. 生成数据集：

非线性函数生成一个人工数据集，其中加入噪声$ϵ$

$$y_i=2sin(x_i)+x_i^{0.8}+ϵ$$
其中$ϵ$服从均值为和标准差为的正态分布。生成了个50训练样本和50个测试样本。

import torch
from torch import nn
from d2l import torch as d2l

n_train = 50  # 训练样本数
x_train, _ = torch.sort(torch.rand(n_train) * 5)   # 排序后的训练样本

def f(x):
    return 2 * torch.sin(x) + x**0.8

y_train = f(x_train) + torch.normal(0.0, 0.5, (n_train,))  # 训练样本的输出
x_test = torch.arange(0, 5, 0.1)  # 测试样本
y_truth = f(x_test)  # 测试样本的真实输出
n_test = len(x_test)  # 测试样本数
n_test

2. 使用平均汇聚计算所有训练样本输出值的平均值

def plot_kernel_reg(y_hat):
    d2l.plot(x_test, [y_truth, y_hat], 'x', 'y', legend=['Truth', 'Pred'],
             xlim=[0, 5], ylim=[-1, 5])
    d2l.plt.plot(x_train, y_train, 'o', alpha=0.5);

y_hat = torch.repeat_interleave(y_train.mean(), n_test)
plot_kernel_reg(y_hat)

3. 非参数注意力汇聚(池化)

平均汇聚忽略了输入$x_i$，非参数注意力汇聚使用公式①或②对输出$y_i$进行加权，K函数是描述输入$x_i$与查询$x$距离的函数，为了使距离越大K函数的值越小，K函数采用以下函数：
$$K(u)=\frac{1}{\sqrt{2\pi }}\exp (-\frac{u^2}{2})=$$