1 发展历史

1943年，Warren McCulloch和Walter Pitts发表题为《A Logical Calculus of the Ideas Immanent in Nervous Activity》的论文，首次提出神经元的M-P模型。

1958年，就职于Cornell航空实验室的Frank Rosenblatt发明了的一种称为感知器（Perceptron）的人工神经网络。它可以被视为一种最简单形式的前馈神经网络。

1969年，Marvin Minsky和 Seymour Papert发表《Perceptrons: an introduction to computational geometry》一书，从数学的角度证明了单层神经网络的局限性，指出神经网络甚至在面对简单的“异或”逻辑问题时也显得无能为力。因为这篇文章，神经网络的研究陷入了很长一段时间的低迷期，史称“Minsky造成的神经网络冰河事件”。

1974 年，Paul Werbos在哈佛大学攻读博士学位期间，就在其博士论文中发明了影响深远的著名BP神经网络学习算法，但没有引起重视。

1986年，David E. Rumelhart, Geoffrey E. Hinton和 Ronald J. Williams发表文章《Learning representations by back-propagating errors》，重新报道这一方法，BP神经网络学习算法才受到重视。

自此，反向传播算法正式成型，历史的车轮开始缓缓转动，一场对神经网络和深度学习的轰轰烈烈的研究和应用正在徐徐拉开帷幕。

（反向传播算法有多努力，有多牛逼，你们知道吗？）

2 基本定义

图2.1 神经网络

图2.1是一个2层神经网络的示例。

第0层又被称为输入层，最后一层又被称为输出层，中间的若干层被称为隐藏层。

神经网络的层数是从隐藏层开始计数的，输入层不计入总层数。

z表示每个神经元的输入信号，上标(l)表示该神经元在神经网络的第l层，下标i表示该层的第i个神经元：

z向量化后为（假设第l层神经网络有k个神经元）：

a表示每个神经元的输出信号，上标(l)表示该神经元在神经网络的第l层，下标i表示该层的第i个神经元：

a向量化后为（假设第l层神经网络有k个神经元）：

w表示上一层神经元到下一层神经元的权重，上标(l)表示第l-1层神经元到第l层神经元的权重，下标i,j表示前一层的第i个神经元到后一层的第j个神经元的权重：

w向量化后为（假设第l-1层神经网络有k个神经元，第l层神经网络有q个神经元）：