神经网络的定义：人工神经网络（Artificial Neural Networks，简写为ANNs）又称神经网络（NNs）或称为连接模型（Connection Model），它是一种模仿动物神经网络行为特征、分布式并行信息处理的算法数学模型。该网络依赖于系统的复杂性，通过调整大量内部节点之间的连接，从而达到处理信息的目的。

• 神经细胞的工作机制
  神经元理论（neurons theory）：神经细胞相互独立，以某种形式传递信号。

• 神经元学说
  (1) 神经网络由许多独立的神经细胞个体(神经元)通过神经元之间的接触点连接而成；
  (2) 所有神经元都有不对称的极性结构：一侧有长长的轴突纤维突起，另一侧有许多树突。(dendrites) 它是接收其他神经元输入信息的结构 轴突(axon) 神经元将信息传输到远处的输出结构；
  (3) 卡哈尔 还首先提出了神经连接的可塑性概念；
  (4) 树突接收信息，触发区整合电位，产生神经冲动，末端突触为输出区，从而传递到下一个神经元。人脑神经系统含有近860亿个神经元，每个神经元有1000个突触(synapse)。

• 假设生物神经网络的特点：
  (1) 每个神经元都是一个 多输入单输出 信息处理单元；
  (2) 神经元输入 分 兴奋性输入 和 抑制性输入 两种类型；
  (3) 神经元具有 空间整合特性 和 阈值特性；
  (4) 神经元的输入和输出是固定的 时滞，主要取决于突触延迟

1943年心理学家 W.S.McCulloch 和 数学逻辑学家 W.Pitts 提出 抽象简化模型是根据生物神经元的结构和工作原理构造的—— M-P模型。这种模型通常将神经元形式化为「输入信号加权和激活函数复合」的形式。

M-P 接收模型的来源 $n$ 其他神经元传输的输入信号 $x_i$，这些输入信号通过权重连接 $w_i$ 神经元接收的传递总输入值 将与 神经元的阈值 $\theta$ 比较，然后通过激活函数 $f$ 处理以产生神经元的输出。即：
$$f(\sum _{i=1}^n{w}_i{x}_i-\theta )$$其中，$x_i$ 表示来自其他神经元的信号，$w_i$ 表示对应的连接权重，$\theta$ 表示神经元的阈值，$f$ 表示通常连续可微的激活函数(Activation Function)（或称 转移函数(Transfer Function)）。

• 神经元激活与否取决于阈值水平 $\theta$，即只有当其输入总和超过阈值 $\theta$ 时，神经元才被激活而发放脉冲，否则神经元不会发生输出信号。
• 当神经元被激活时，称该神经元处于激活状态或兴奋状态，反之称神经元处于抑制状态。

$$f(x)=kx+c$$

$$f(x)=\{\begin{array}{l}T,x>c\\ kx,|x|⩽c\\ -T,x<-c\end{array}$$

$$f(x)=\{\begin{array}{l}1,x⩾c\\ 0,x<c\end{array}$$

Sigmoid函数 是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间。

sigmoid函数 也叫 Logistic函数，用于隐层神经元输出，取值范围为(0,1)（0表示“抑制”，1表示“兴奋”），它可以将一个实数映射到(0,1)的区间，可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。Sigmoid作为激活函数有以下优缺点：

• 优点：平滑、易于求导。
• 缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。

Sigmoid 函数定义：
$$S(x)=\frac{1}{1+e^{-x}}$$
对 $x$ 进行求导：
$$S^{\prime }(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}=S(x)(1-S(x))$$
Sigmoid函数的图形：

$$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$函数图像为：

sigmoid函数 和 tanh函数 是研究早期被广泛使用的2种激活函数。两者都为S 型饱和函数。 当 sigmoid 函数 输入的值趋于正无穷或负无穷时，梯度会趋近零，从而发生梯度弥散现象。sigmoid函数 的输出恒为正值，不是以零为中心的，这会导致权值更新时只能朝一个方向更新，从而影响收敛速度。tanh 激活函数是 sigmoid 函数的改进版，是以零为中心的对称函数，收敛速度快，不容易出现 loss 值晃动，但是无法解决梯度弥散的问题。2个函数的计算量都是指数级的，计算相对复杂。softsign 函数是 tanh 函数的改进版，为 S 型饱和函数，以零为中心，值域为（−1，1）。

为什么 LR 模型要使用 sigmoid 函数，背后的数学原理是什么？

1957年，Frank Rosenblatt 结合 M-P模型 和 Hebb学习规则 发明了 感知机(perceptron)，两层神经网络，结构与MP模型类似，一般视为最简单的人工神经网络。

感知机 与 MP模型 的区别：输入不是离散的 0/1，激活函数不一定是 阈值函数。

感知机模型的组织结构如下：

后经进一步的发展、变形，成为现在常用的经典形式，由于只有一层，又被称为 单层感知机。如下：

和M-P模型相比，感知机引入了偏置b。用公式表示为：
$$f(x)=sign(wx+b)$$其中，$sign(x)$ 为激活函数：
$$sign(x)=\{\begin{array}{l}+1,x⩾0\\ -1,x<0\end{array}$$分别对应“激活” 和 “抑制” 两种状态。

由于 $wx+b=0$ 相当于 $n$ 维空间中的一个超平面，$w$ 为超平面的法向量，$b$ 为超平面的截距，$x$ 为空间中的点。

• 当 $x$ 位于超平面的正侧时，$wx+b>0$ ，感知机被激活；
• 当 $x$ 位于超平面的负侧时，$wx+b<0$ ，感知机被抑制。

所以，从几何的角度来看，感知机就是 $n$ 维空间中的一个超平面，它将特征空间分成两部分。

由于感知机具有的这种分离超平面的特性，常用来对数据进行分类。

首先给定一组训练数据，然后通过训练数据确定模型的参数ω、b，最后用学到的模型预测新数据的类别。

假定给定的训练数据为： $T=(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$ ，其中， x i ∈ X = R n , y ∈ { + 1 , − 1 } , i = 1 , 2 , . . . , N x_i \in X = R^n, y \in \{ +1, -1 \}, i = 1,2,...,N xi​∈X=Rn,y∈{ +1,−1},i=1,2,...,N

学习的目标就是找一个能将训练数据中正负实例都分开的超平面。

求解方法：参数初始化 + 梯度下降法更新

求得的解并不是数学意义上的解析解，而是工程意义上的最优解（不是唯一的，只要得到一个比较好的结果就可以）。

Minsky 在1969年出版 《感知器》书中证明了 Perceptron 无法解决异或问题。

Multi Layer Perception, MLP：在单层神经网络基础上引入一个或多个隐藏层，使网络有多个网络层，被称为 多层感知机，或 前馈神经网络。
从理论上说，多层网络可以模拟任何复杂的函数。

从上图可以看到，多层感知机层与层之间是全连接的。多层感知机最底层是输入层，中间是隐藏层，最后是输出层。

MLP没有限定隐藏层的数量，对于输出层神经元的个数也没有限制，所以我们可以根据各自的需求选择合适的隐藏层层数。

多层感知机的表达能力：解决了异或问题 (XOR)。

为什么要使用激活函数？

• 不使用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。
• 使用激活函数，能够给神经元引入非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以利用到更多的非线性模型中。

激活函数需要具备以下几点性质:

• 连续并可导（允许少数点上不可导）的非线性函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数。
• 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。
• 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。

前面介绍了前馈神经网络，那么问题来了：神经网络该如何进行优化呢？
1986年，Rummelhart 和 McClelland 改进反向传播算法(back propagation, BP) 用于优化神经网络，因此神经网络也常被称为 BP神经网络。

• 前向传播 (forward propagation) 通过训练数据和权重参数计算输出结果；
• 反向传播(back propagation) 通过导数链式法则计算损失函数对各参数的梯度，并根据梯度进行参数的更新。

注：反向传播仅指损失函数对参数的梯度通过网络反向流动的过程，但现在也常被理解成神经网络整个的训练方法，由误差传播、参数更新两个环节循环迭代组成。

参考：
[1] 天池课程：深度学习原理与实践
[2] 《深度学习》（花书）
[3] 神经网络学习 之 M-P模型
[4] 神经网络的基础是MP模型？南大周志华组提出新型神经元模型FT
[5] The perceptron: a probabilistic model for information storage and organization in the brain
[6] 机器学习-单层感知机
[7] 多层感知机（MLP）简介
[8] 机器学习基础篇（十二）——多层感知机
[9] 深度学习 | 反向传播详解