【智能控制】第7章神经网络理论基础，神经网络的分类，原理，发展，神经网络学习算法（北京航天航空大学）

第7章神经网络理论基础

1. 神经网络的发展

2. 神经网络原理

3. 神经网络的分类

(1) 前向网络

(2) 反馈网络

(3) 自组织网络

4. 神经网络学习算法

(1) 智能Hebb学习规则

(2) Delta（δ）学习规则

5. 神经网络的特征及要素

6. 神经网络控制的研究领域

(1) 基于神经网络的系统辨识

(2) 神经网络控制器

(3) 神经网络与其他算法相结合

(4) 优化计算

第7章神经网络理论基础

1. 神经网络的发展

人工神经网络（简称神经网络，Neural Network）是模拟人脑思维方式的数学模型。神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为，它从微观结构和功能上对人脑进行抽象和简化，是模拟人类智能的一条重要途径，反映了人脑功能若干基本特征，如并行信息处理、学习、联想、模式分类、记忆等。

人工神经网络是20世纪80年代以来人工智能领域兴起的研究热点，它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，相当于人工神经网络的记忆。网络的输出则依网络的连接方式、权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

随着神经网络的研究不断深入，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。

神经网络控制是将神经网络与控制理论相结合而发展起来的智能控制方法。它已成为智能控制的一个新的分支，为解决复杂的非线性、不确定、不确知系统的控制问题开辟了新途径。

神经网络的发展历程经过四个阶段。

（1）启蒙期（1890-1969年）

1890年，W.James发表专著《心理学》，讨论了脑的结构和功能。1943年，心理学家W.S.McCulloch和数学家W.Pitts提出了描述脑神经细胞动作的数学模型，即M-P模型（第一个神经网络模型），他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。1958年，E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（Perceptron）。1962年，Widrow和Hoff提出了自适应线性神经网络，即Adaline网络，并提出了网络学习新知识的方法，即Widrow和Hoff学习规则（即δ学习规则），并用电路进行了硬件设计。

（2）低潮期（1969-1982）

受当时神经网络理论研究水平的限制，简单的线性感知器无法解决线性不可分的两类样本的分类问题，如简单的线性感知器不可能实现“异或”的逻辑关系等，加之受到冯·诺依曼式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。但在美、日等国仍有少数学者继续着网络模型和学习算法的研究，提出了许多有意义的理论和方法。例如，1969年，Grossberg提出了复杂的ART神经网络。1972年，Kohonen提出了自组织映射的SOM模型。

3）复兴期（1982-1986）

1982年，美国物理学家Hoppield提出了Hoppield神经网络模型，该模型通过引入能量函数，给出了网络稳定性判断，实现了问题优化求解，1984年他用此模型成功地解决了旅行商路径优化问题(TSP)。这一成果的取得使神经网络的研究取得了突破性进展。

在1986年，在Rumelhart和McCelland等出版的《Parallel Distributed Processing》一书中，提出了一种著名的多层神经网络模型，即BP网络，该网络是迄今为止应用最普遍的神经网络，已被用于解决大量实际问题。

（4）新连接机制时期（1986-现在）

1988年，Broomhead和Lowe在所发表的论文“Multivariable functional interpolation and adaptive networks”中初步探讨了RBF用于神经网络设计与应用于传统插值领域的不同特点，进而提出了一种三层结构的RBF神经网络。

深度学习的概念由Hinton等人于2006年提出，其概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。神经网络的主要应用领域有：模式识别与图象处理（语音、指纹、故障检测和图象压缩等）、控制与优化、预测与管理（市场预测、风险分析）、通信等。

2. 神经网络原理

神经生理学和神经解剖学的研究表明，人脑极其复杂，由一千多亿个神经元交织在一起的网状结构构成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。

人脑能完成智能、思维等高级活动，为了能利用数学模型来模拟人脑的活动，导致了神经网络的研究。

单个神经元的解剖图如图所示，神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。

每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支—树突组成。轴突的功能是将本神经元的输出信号(兴奋)传递给别的神经元，其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输出。神经元的轴突与另外神经元神经末梢相连的部分称为突触。

神经元由三部分构成：

（1）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；

（2）树突：用于为细胞体传入信息；

（3）轴突：为细胞体传出信息，其末端是轴突末梢，含传递信息的化学物质；

（4）突触：是神经元之间的接口（104~105个/每个神经元）。

通过树突和轴突，神经元之间实现了信息的传递。

神经网络的研究主要分为三个方面的内容，即神经元模型、神经网络结构和神经网络学习算法。

3. 神经网络的分类

人工神经网络是以数学手段来模拟人脑神经网络的结构和特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，从而实现对生物神经网络的模拟和近似。

目前神经网络模型的种类相当丰富，已有近40余种神经网络模型，其中典型的有多层前向传播网络（BOP网络）、Hopfield网络、CMAC小脑模型、ART自适应共振理论、BAM双向联想记忆、SOM自组织网络、Blotzman机网络和Madaline网络等。

根据神经网络的连接方式，神经网络可分为三种形式：

(1) 前向网络

如图所示，神经元分层排列，组成输入层、隐含层和输出层。每一层的神经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后，由输出层输出。在各神经元之间不存在反馈。感知器和误差反向传播网络采用前向网络形式。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。BP网络是一种典型的前向网络。

(2) 反馈网络

网络结构如图所示，该网络结构在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。Hopfield神经网络是反馈网络中最简单且应用最广泛的模型，它具有联想记忆的功能，如果将Lyapunov函数定义为寻优函数，Hopfield神经网络还可以解决寻优问题。

(3) 自组织网络

网络结构如图所示。Kohonen网络是最典型的自组织网络。Kohonen认为，当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映射是通过无监督的自适应过程完成的，所以也称为自组织特征图。Kohonen网络通过无导师的学习方式进行权值的学习，稳定后的网络输出就对输入模式生成自然的特征映射，从而达到自动聚类的目的。