发布时间 : 星期三 文章基于BP神经网络PID整定原理和算法步骤-精品更新完毕开始阅读
第2章 神经网络的原理和应用
2.1 神经网络的基本概念
人工神经网络(ANN，Artificial Neural Network)，又称并行分布处理模型或连接机制模型，是基于模仿人类大脑的结构和功能而构成的一种信息处理系统或计算机系统。它具有很多与人类智能相类似的特点，诸如结构与处理的并行性、知识分布存储、容错性强、通过训练学习可具备适应外部环境的能力、模式识别能力和综合推理能力等。它是模仿生理学上的人脑神经网络的结构和功能的数学模型，由大量人工神经元连接而成的一种能够进行复杂的逻辑操作的自适应非线性动态信息处理系统。它具有高度的并行性、高度的非线性、良好的容错性、联想记忆功能和自适应等特点。
2.2神经网络的控制结构
人工神经网络是生物神经网络的一种模拟和近似。它主要从两个方面进行模拟。一种是从生理结构和实现机理方面进行模拟，它涉及生物学、生理学、心理学、物理及化学等许多基础科学。生物神经网络的结构和机理相当复杂，现在距离完全认识他们还相差甚远。另一种是从功能上加以模拟，即尽量使得人工神经网络具有生物神经网络的某些功能特性，如学习、识别、控制等功能。从功能上来看，人工神经网络根据连接方式主要分为两类。
2.2.1 前馈网络
前馈神经网络是整个神经网络体系中最常见的一种网络，其网络中各个神经元接收前一级的输入，并输出到下一级，网络中没有反馈。网络中节点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多个其他节点作为输入）。通常前馈网络可分为不同的层，第i层的输入只与第i-1层输出相连，输入和输出节点与外界相连，而其他中间层称为隐含层，它们是一种强有力的学习系统，其结构简单而易于编程。从系统的观点看，前馈网络是一静态非线性映射，通常简单非线性处理的符合映射可获得复杂的非线性处理能力。但从计算的观点看，前馈神经网络并非是一种强有力的计算系统，不具有丰富的动力学行为。大部分前馈神经网络是学习网络，并不注意系统的动力学行为，它们的分类能力和模式识别能力一般强于其他类型的神经网络。
2.2.2 反馈网络
反馈神经网络又称为递归网络或回归网络。在反馈网络中，输入信号决定反馈系统的初始状态，然后系统经过一系列的状态转移后，逐渐收敛于平衡状态。这样的平衡状态就
6
是反馈网络经计算后输出的结果，由此可见，稳定性是反馈网络中最重要的问题之一。如果能找到网络的Lyapunov函数，则能保证网络从任意的初始状态都能收敛到局部最小点。反馈神经网络中所有节点都是计算单元，同时也可接收输入，并向外界输出。
2.3神经网络的功能
神经网络在控制领域中的应用功能，基本有以下几个方面：
（1）非线性映射和函数逼近功能。这种非线性映射可以是连续的，也可以是离散的，可以是一维的，也可以是多维的。在前馈网络中均有此功能。
（2）模式记忆与联想功能。几乎所有的神经网络都能以连接权形式存储一定数量的模式，并能实现对扭曲模式的自联想和异联想的功能。
（3）优化计算功能。正因为有此功能，能对给定的一个问题，获得局部或全局的最优化解。可用于动态、静态规划与优化计算等。
2.4神经网络的学习
2.4.1 神经网络的学习方式
神经网络的学习也称为训练，指的是通过神经网络所在环境的刺激作用调整神经网络的自由参数，使神经网络以一种新的方式对外部环境作出反应的一个过程。能够从环境中学习和在学习中提高自身性能是神经网络最有意义的性质。神经网络经过反复学习对其环境更为了解。
神经网络学习方式可分为：有导师学习、无导师学习和再励学习三类。
1）有导师学习又称为有监督学习，在学习时需要给出导师信号或称为期望输出。神经网络对外部环境是未知的，但可以将导师看成对外部环境的了解，由输入输出样本集合来表示。导师信号或期望输出响应代表了神经网络的执行情况的最佳结果，即对于网络输入调整网络参数，使得网络输出逼近导师信号或期望响应。
2）无导师学习包括强化学习与无监督学习或称为自组织学习。在强化学习中，对输入输出映射的学习是通过与外界环境的连续作用最小化性能的标量索引而完成的。在无监督学习或称为自组织学习中没有外部导师或评价来统观学习过程，而是提供一个关于网络学习表示方法质量的测量尺度，根据该尺度将网络的自由参数最优化。一旦网络与输入数据的统计规律达成一致，就能够形成内部表示方法来为输入特征编码，并由此自动得出新的类别。
3）再励学习介于上述两种情况之间，外部环境对系统输出结果只给出评价而不是正确答案，学习系统经过强化那些受奖励的动作来改善自身性能。
7
2.4.2神经网络的学习算法
常用的三种学习规则有以下几种： 1）.无监督的Hebb学习规则
Hebb学习是一类相关学习，其基本思想是：如果两个神经元同时被激活，则它们之间的联接强度的增强与它们激励的乘积成正比，以oi表示神经元i的激活值，oj表示神经元j的激活值，wij表示神经元i和神经元j的连接权值，则Hebb学习规则可表示
?wij(k)??oj(k)oi(k) （2-1）
式中：?为学习速率。
2）.有监督的Delta学习规则
在Hebb学习规则中，引入教师信号，即将oj换成希望输出dj与实际输出oj之差，就构成有监督学习的学习规则
?wij(k)??(dj(k)?oj(k))oi(k) （2-2）
3）.有监督的Hebb学习规则
将无监督的Hebb学习规则和有监督的Delta学习两者结合起来就构成有监督的Hebb学习规则
?wi(jk)??(dj(k)?oj(k))oi(kj)o (k （2-3）
2.5人工神经元（MP）模型
1943年，美国心理学家MeCulloch和数学家Pitts共同提出“模拟生物神经元”，被称为MP的人工神经元，人工神经网络是由大量的处理单元即人工神经元广泛互连组成的网络，网络的信息处理功能由神经元间相互作用来实现，知识与信息的存储表现为网络元件间分布式的物理联系，网络的学习和识别取决于各种神经元件连接权系数的动态演化过程。其主要特征为连续时间非线性动力学、网络的全局作用、大规模的并行分布处理和联想学习能力。MP的人工神经元一般是一个多输入多输出的非线性部件，其基本结构如图2-1所示。
y1 yj
yn
? ?i ui f(ui) yi
8
图2-1 MP神经元模型结构
其中，yi:神经元i的输出，它可以与其他多个神经元通过权连接。
yj:神经元的输入。
wij:神经元的连接权值。
f(ui):神经元的非线性作用函数，又称为激发函数。
?i:神经元的阈值。 神经元的输出yi，可用下式描述:
n yi?f(?wijy?j?)i(i? )j j?1设
nui??wij??ij?1 (2-5)
则
yi?f(ui) 激发函数f（u）一般有以下几种形式。
1）阶跃函数 函数表达式为
(2-7a)
2)分段线性函数 函数表达式为
(2-7b) 3)Sigmoid型函数
最常用的Sigmoid型函数为
f(x)?11?exp(?ax) 式中，参数a可控制其斜率。
Sigmoid型函数也称为S型函数，上式表示的是一种非对称S型函数。 另一种常用的Sigmoid型函数为双曲正切对称S型函数，即
f(x)?tanh(x)?1?exp(?x)1?exp(?x) 9
(2-4)
(2-6) (2-8) (2-9)