第一章 神经网络基础

目前，深度学习（Deep Learning，简称DL）它在算法领域很受欢迎。现在不仅是互联网和人工智能，生活中的主要领域也能反映深度学习引领的巨大变化。要学习深度学习，首先要熟悉神经网络（Neural Networks，简称NN）一些基本概念。当然，这里提到的神经网络不是生物神经网络，我们称之为人工神经网络（Artificial Neural Networks，简称ANN）似乎更合理。神经网络最早是人工智能领域的算法或模型。目前，神经网络已发展成为一个跨学科的学科领域，随着深度学习的进展，它也受到了重视和尊重。

为何说是重新？事实上，神经网络最早的算法模型已经开始研究，但在取得一些进展后，神经网络的研究陷入了一个长期的低潮，然后随着Hinton神经网络在深度学习中的进步再次受到重视。本文以神经网络为主，重点总结一些相关的基础知识，然后在此基础上引入深度学习的概念。如有写作不当，请批评和纠正。

一、神经元模型

神经元是神经网络中最基本的结构，也可以说是神经网络的基本单元，其设计灵感来自于生物学中神经元的信息传播机制。学过生物学的学生都知道神经元有两种状态:兴奋和抑制。一般来说，大多数神经元处于抑制状态，但一旦神经元受到刺激，其电位超过阈值，神经元将被激活，处于兴奋状态，然后将化学物质（实际上是信息）传播到其他神经元。

下图