多输出神经元模型的多层前向神经网络及其应用

多输出神经元模型的多层前向神经网络及其应用

汪秉文, 沈艳军, 何统洲[1]2004年在《多输出神经元模型的多层前向神经网络及其应用》文中研究表明研究了一种新的多输出神经元模型.首先,给出这类模型的一般形式,并将该模型应用于多层前向神经网络;其次,给出了其学习算法,即递推最小二乘算法,最后通过几个模拟实验表明,采用多输出神经元模型的多层前向神经网络,具有结构简单,泛化能力强,收敛速度快,收敛精度高等特点,其性能远远优于激活函数可调模型的多层前向神经网络.

沈艳军[2]2004年在《多输出神经元模型的多层前向神经网络及其应用》文中研究表明神经网络是高度非线性动力学系统,又是自适应自组织系统,可用来描述认知、决策及控制等的智能行为,使得智能的认识和模拟成为神经网络理论研究的一个重要方面;同时,神经网络理论又成为信息并行处理的基础,PDP(并行分布处理)成为80年代中后期的一个研究新热点,它进一步拓展了计算概念的内涵,使神经计算、进化计算成为新的研究领域。引起了包括计算机科学、人工智能、认识科学、信息科学、微电子科学、自动控制与机器人、脑神经科学等学科与领域的科学家的巨大热情和广泛兴趣。然而,传统神经元的M-P模型用连接权值和非线性激活函数分别模仿神经元的突触和细胞体的作用。在训练过程中,权值是可以调节的,但激活函数不能调节,是事先确定的。这种模型过于简单,其性能受到极大的限制。基于此,人们提出激活函数可调的神经元模型(TAF)以及由此模型构成的多层前向神经网络(TAF-MFNN),与传统网络相比,采用这种新型的神经元模型来解决某些问题时,所需要的网络会更为简单,网络性能会更好,推广泛化能力也会更强。但是,用来训练这种网络的BP算法收敛速度慢,容易陷入局部极小。众所周知,RLS算法具有收敛速度快,收敛精度高等优点,本文将激活函数可调的神经网络进行变形,使得变形后的网络和原网络等价,给出了网络学习的快速算法。通过仿真实验,改进的算法大大提高网络的收敛速度和精度。在此基础上,本文将激活函数可调的神经网络进行改进,提出了多输出神经元模型(MO)以及由此模型构成的多层前向网络(MO-MFNN),并给出了网络的RLS算法、LM算法、LMAM算法和OLMAM算法。通过仿真实验,得到结论:在训练样本不太大时,选择利用LM算法、LMAM算法和OLMAM算法来训练网络;在训练样本很大时,选择利用RLS算法来训练网络。在神经网络的训练中大多用如下均方误差函数(MS)作为网络的训练目标函数,直到现在,大多数快速算法都是基于MS基础上得到的。但是MS有两个主要缺点,一方面MS误差函数面存在很多的次最优解,在网络的训练过程中,易于陷入这些次最优解;另一方面,MS误差函数是一个能满足各种不同方面应用的通用判决标准,利用MS误差函数训练网络容易出现过拟和现象。为了提高网络的性能,如降低测试误差和提高网络的泛化能力,在一些特殊的应用中,需考虑额外的假设和启发性的信息。其中一个利用先验知识的技巧是正则化方法,即构造一个正则化的目标函数。本文研究了MO-MFNN带正则化因子的学习算法,仿真实验表明,利用MO-MFNN可以减小计算复杂度和存储量。神经网络具有并行性和自然容错性的能力,非常适合于非线性系统的实时自适应控制。到目前为止,还没有一种较为成熟的快速在线学习算法,而快速在线学习算法是实时控制的关键。多输出神经元模型的多层前向神经网络具有极大的网络容量,泛化能力强,网络结构简单,待定参数少,在线学习速度快,仿真实验表明,利用MO-MFNN进行非线性系统控制可以大大减小CPU时间,使其应用实时控制成为可能。

刘婷[3]2008年在《基于神经网络和数据包络分析方法的安全库存预测及评价研究》文中指出自从人类文明开始,物流活动就已经存在于社会的很多方面,但一直没有得到重视。直到进入二十世纪,物流逐渐成为人们研究的对象,主要因为国家与国家经济交流越来越频繁,物流成本上升很快,人们开始将注意力转移到这个领域。伴随着计算机信息网络技术和经济的快速发展,物流不仅是影响企业经营效率的关键,物流产业也成为影响一个国家经济发展的重要产业之一。而减少物流成本就成为物流研究存在的主要原因,在整个物流成本中,库存成本占了很大一个部分。那是因为无论原材料采购、产品生产加工、包装、运输、装卸、配送等环节都需要库存来调节,因此都会涉及库存成本。但是持有太多不需要的库存,会带来很多额外的库存成本,因此,在控制库存和提供良好客户服务两个方面要实现一个平衡,所以要对库存进行预测与控制。库存设立的目的是为了满足生产需要、满足市场需求、调节整个物流过程。它包括有很多部分。其中一个很重要的部分就是安全库存(又称缓冲库存),它是除去基本库存外设立的缓冲库存,是为了防止和减少很多不确定因素(突发性订货、交货延期)造成不良影响。在现有的研究中,已经有很多计算和预测安全库存的定量方法。随着计算机技术的快速发展,用电脑技术来进行预测也越来越得到大家的重视,它让人们脱离了繁琐的计算,且精确度更高。本文以一个汽车零配件制造商的物流部门对一种零配件——汽车轴承的库存进行管理和控制情况作为研究对象,应用人工神经网络原理,用计算机仿真预测该配件的安全库存。并用运筹学中的一个理论-数据包络分析(DEA)来分析企业一年中不同时期的库存控制绩效,并根据存在的问题提出库存系统中存在的改进方向。将得到的结论给物流部门进行参考,最后,形成一个预测安全库存和绩效评价的信息管理系统,用于实际中操作。

陈海军[4]2010年在《基于遗传优化的神经网络控制策略的研究》文中研究指明随着自动控制科学的发展,人们对控制系统品质的要求不断提高,对具有非线性、不确定性和难以建立精确数学模型的复杂系统的控制方面,传统的控制策略越来越显示出其局限性,与此同时智能控制理论的发展,为解决这类问题提供了新的研究思路。本文所研究的基于遗传算法优化的神经网络复合逆控制策略,利用遗传算法和人工神经网络的融合来解决当前控制领域的难题。由于人工神经网络具有非线性映射、并行计算、自学习等能力以及鲁棒性强等特点,目前在复杂非线性系统进行建模、参数优化和控制等领域应用广泛。本文对多层前向BP神经网络的学习问题展开研究。对基于梯度下降的BP学习算法存在的局部收敛的问题,引入遗传算法来解决神经网络的权值、阈值学习,提出了改进BP神经网络学习算法的遗传寻优学习算法,提高了网络的学习精度。并以逆系统控制思想为指导,提出了基于遗传寻优学习神经网络的复合逆控制策略。本文以材料试验机这一典型的电液伺服系统为控制对象,把基于遗传寻优神经网络的复合逆控制策略应用到材料试验机位置伺服系统中,其中应用神经网络辨识其动态逆模型,通过在MATLAB环境下进行仿真以及通过开发基于Labview软件的计算机控制系统进行实验研究,并与传统的PID控制策略对比,结果表明基于遗传寻优神经网络的复合逆控制策略能够较好地满足材料试验机动态特性的要求。

夏宏飞[5]2003年在《混合神经网络及其应用研究》文中提出神经网络是人们模仿人的神经系统信息处理功能的一个智能化系统。尽管它还不是大脑的完美无缺的模型,但它可以通过学习来获取外部的知识并存储在网络内,可以解决计算机不易处理的难题,特别是语音和图像识别、理解、知识的处理、组合优化计算和智能控制等一系列本质上非计算的问题。因此,神经网络技术已成为当前人工智能领域中最令人感兴趣和最富有魅力的研究课题。 本文首先介绍了神经网络理论的发展历史和应用领域,然后介绍了人工神经元网络的特点及目前应用比较广泛的几种典型的神经网络,并重点分析了当今最流行的BP网络的特性。 其次,针对BP网络存在的缺陷,结合前向神经网络和线性最小二乘法的优点,构造了一种基于混合结构的神经网络,提出了相应的非迭代的快速学习算法。该学习算法能够根据拟合精度要求,运用线性最小二乘法确定相应的最佳网络权值和线性部分的参数,并自动确定最佳的隐层节点数。与BP网络的比较结果表明,本文提出的混合结构前向神经网络的快速学习算法无论在拟合精度、学习速度、泛化能力、还是隐节点数均显着好于BP网络。 最后,针对某炼油厂催化裂化装置主分馏塔轻柴油凝固点的软测量估计问题,本文基于工业现场所采集的样本数据,建立了混合结构神经网络模型,并讨论该模型的在线自学习问题,同时与多层前向BP网络、径向基函数RBF网络模型进行了比较。在此基础上,将该混合模型应用于实际工业催化裂化装置主分馏塔轻柴油凝固点的在线估计问题。应用结果说明:该模型具有理想的预测精度,满足实际应用的要求,相信在软测量技术中具有广阔的应用前景。

全宏亮[6]2002年在《多层前向神经网络的结构辩识和改进算法》文中研究指明近年来,神经网络的研究得到了异常迅速的发展,神经网络的特征充分显示了其在解决高度非线性和严重不确定性系统控制方面的巨大潜力,在各门学科领域中都有重要的意义。在神经网络模型中,多层前向神经网络是应用得最为广泛的一种网络,已经广泛运用于函数逼近、图像处理、模式识别、自适应控制等方面。 多层前向神经网络虽已应用于许多领域,但还是存在着一系列急需解决的问题,其中如何确定结构简单、性能优良的网络结构是最为棘手的问题之一,这一难题阻碍了神经网络更为广泛的应用。众所周知,应用神经网络的前提是确定网络的结构,但长期以来,由于没有理论的指导,大多数情况下都用试凑法来确定网络的结构,结果常常是计算量大,效率低。本文简要介绍了神经网络的基本知识,对神经网络结构辨识的方法做了系统的综述,对现有结构辨识的方法进行了探讨,分析了其优点和不足之处。本文对隐层神经元之间的关系进行了系统分析,得出在最优网络结构情况下,同一隐层的所有神经元对不同样本的输出应线性无关,并据此提出了一种新的神经网络结构辨识算法,还给出了容差的确定方法。仿真结果表明,网络的结构得到了简化,不仅满足了误差目标的要求,而且提高了网络的泛化能力。 BP算法是多层前向神经网络中应用最为广泛的一种算法,但是由于BP算法实质是一种梯度下降的搜索算法,它存在着其固有的不足,如收敛速度较慢,易于陷入误差函数的局部极值,而且对于较大搜索空间、多峰值和不可微函数也常不能搜索到全局极小点等,这一切制约着前向神经网络在各个领域中的应用,因此有必要对BP算法进行改进。本文基于反变换及奇异值分解,提出了一种改进算法,能够有效的提高网络收敛的速度和精度,计算机仿真结果也有力的证实了这一点。

李云飞[7]2007年在《基于神经网络的多变量解耦控制方法研究》文中指出在工业控制中,被控系统往往是多变量、强耦合的时变系统。多变量系统的回路之间存在耦合,即系统某一个输入变量的改变通常会引起部分甚至全部输出变量的变化,降低控制系统的调节品质,耦合严重会使系统无法运行。为了得到满意的控制效果,必须对多变量系统实行解耦控制。多变量系统的解耦控制能把个回路之间相互耦合多输入—多输出系统变换为若干个相互独立的单变量系统,某一输出仅对某一输入有响应,从而使各个控制回路能很好的控制和运行。但对于绝大多数的多变量、强耦合、非线性、时变系统,采用单变量系统的设计方法已不能解决问题。如何获得这类复杂过程的解耦控制已经成为控制工程领域具有重要意义的热点问题。多变量系统的解耦可分为传统解耦控制,自适应解耦控制,智能解耦控制(包括模糊解耦控制和神经网络解耦控制),非线性与鲁棒解耦控制。神经元网络解耦控制是当前控制理论界的重大课题之一,尤其适用于传统控制方法难以解决的问题,因此更具有研究价值。文献[1]讨论了对PID神经网络采用BP算法训练连接权值。文献[2]提出了基于标准遗传算法的PID神经网络解耦控制算法。文献[1]采用BP算法存在易陷入局部极值的缺点,因此有可能使最终的控制结果达不到理想状态。文献[2]中,标准遗传算法随着进化代数的增加,种群的多样性逐渐减少,易出现种群早熟的现象,常常得到接近全局最优解的次优解。基于上述原因,作者采用一种改进的遗传算法来训练神经网络PID控制器的参数。该方法设计了基于目标函数的适应度函数,自适应的交叉概率、变异概率,引入移民的遗传算法,能有效地抑制早熟和维持种群的多样性。并结合精馏塔温度控制系统,仿真验证算法。能够获得满意的控制效果。

张剑[8]2006年在《基于神经网络的水下机器人建模方法研究》文中指出由于海洋开发与军事上的需要,自治式水下机器人(AUV)技术得到了迅速的发展,它成为完成各种水下智能作业任务的重要工具,对其的研究开发也成为焦点。水下机器人系统是一个具有强烈非线性和耦合性的系统,如何准确的描述水下机器人的运动特性是进行水下机器人控制、预测、故障诊断的前提,因此对水下机器人进行系统辨识的研究引起了业界专家的极大兴趣。 本文以哈尔滨工程大学水下运载器智能控制技术实验室自主开发的“Beaver”水下机器人为研究对象,对如何建立水下机器人的前向动力学模型、预测模型以及模型的在线调整与应用问题进行了研究。 本文以神经网络为工具,分析非线性系统辨识的方法以及常用的辨识网络结构,并在此基础上,提出了应用复合输入动态回归神经网络对水下机器人动力学模型进行辨识的方法,对比了它与多层前向神经网络和改进的Elman神经网络进行非线性系统模型辨识的差异。建立了水下机器人动力学系统的在线神经网络模型,提出了模型的在线调整算法,即简化的随时间进化反传(SBPTT)算法。通过仿真实验,显示了叁种神经网络在函数逼近和非线性系统辨识中存在的差异,并验证了基于SBPTT在线学习调整算法的复合输入动态回归神经网络在非线性系统辨识中的有效性。在此基础上,根据水下机器人的前向动力学模型,建立了水下机器人的动力学多步预测模型,配合课题组设计了水下机器人的神经广义预测控制器。通过“Beaver”水下机器人在哈尔滨工程大学的船模水池的实验,进一步验证了本文采用的复合输入动态回归神经网络在水下机器人动力学模型辨识方面的有效性。

朱云国[9]2006年在《移动机器人局部路径规划的研究》文中进行了进一步梳理路径规划是机器人控制中最重要的任务之一,局部路径规划是移动机器人研究领域的一个基本环节。本论文主要对如何寻找到一条从起点到终点无碰撞的路径作了研究,在机器人硬件系统的精度在短期内不能得到解决的情况下,对算法的研究就显得十分重要。 首先,根据移动机器人工作环境的不确定性,设计了双模糊协调控制器,把机器人的行为分成接近目标行为和中途避障行为,并对两种行为进行协调,达到对机器人下一步行动进行控制的目的,仿真实验结果验证了本文所提方法的有效性和可行性。 其次,论文采用了改进的BP神经网络算法,克服了直接使用神经网络算法进行路径规划的不足之处。仿真表明,采用了附加动量项的BP神经网络,能有效地提高算法的收敛速度。最后在MATLAB中给出了在有静止和运动障碍物的动态环境中路径规划仿真结果,结果表明此方法是可行的。

张艳[10]2004年在《基于BP算法和遗传算法的自适应噪声抵消器》文中进行了进一步梳理一、引言自适应噪声抵消技术是一种能够很好的消除背景噪声影响的信号处理技术,应用自适应噪声抵消技术,可在未知外界干扰源特征,传递途径不断变化,背景噪声和被测对象声波相似的情况下,能够有效地消除外界声源的干扰获得高信噪比的对象信号。从理论上讲,自适应干扰抵消器是基于自适应滤波原理的一种扩展,简单的说,把自适应滤波器的期望信号输入端改为信号加噪声干扰的原始输入端,而它的输入端改为噪声干扰端,由横向滤波器的参数调节输出以将原始输入中的噪声干扰抵消掉,这时误差输出就是有用信号了。在数字信号采集、处理中,线性滤波是最常用的消除噪声的方法。线性滤波容易分析,使用均方差最小准则的线性滤波器能找到闭合解,若噪声干扰类型为高斯噪声时,可达到最佳的线性滤波效果。在实际的数字信号采集中,迭加于信号的噪声干扰往往不是单一的高斯噪声,而线性滤波器所要求的中等程度噪声偏移,使线性滤波器对非高斯噪声的滤波性能下降,为克服线性滤波器的缺点,往往采用非线性滤波器,所以本文采用神经网络对信号进行滤波处理。二、基于BP算法和遗传算法相结合的自适应噪声抵消器在本文中,作者主要基于自适应噪声对消的原理对自适应算法进行研究,提出了一种新的算法,即BP算法和遗传算法相结合的自适应算法。作者对BP网络的结构及算法作了一个系统的综述,分析了BP算法存在的主要缺陷及其产生的原因。传统的BP网络既然是一个非线性优化问题,这就不可避免地存在局部极小问题,网络的极值通过沿局部改善的方向一小步进行修正,力图达到使误差函数最小化的全局解,但实际上常得到的使局部最优点。学习过程中,下降慢,学习速度缓,易出现一个长时间的误差平坦区,即出现平台。通过对遗传算法文献的分析、概括和总结,发现遗传算法与其它的搜索方法相比,遗传算法(GA)的优点在于:不需要目标函数的微分值;并行搜索,搜索效率高;搜索遍及整个搜索空间,容易得到全局最优解。所以用GA优化BP神经网络,可使神经网络具有进化、自适应的能力。BP-GA混合算法的方法出发点为:(1)利用BP神经网络映射设计变量和目标函数、约束之间的关系;(2)用遗传算法作实现优化搜索;(3)遗传算法中适应度的计算采用神经网络计算来实现。BP-GA混合算法的设计步骤如下:(1)分析问题,提出目标函数、设计变量和约束条件;(2)设定适当的训练样本集,计算训练样本集;(3)训练神经网络;(4)采用遗传算法进行结构寻优;(5)利用训练好的神经网络检验遗传算法优化结果。若满足要求,计算结束;若误差不满足要求,将检验解加入到训练样本集中,重复执行3~5步直到满足要求。 通过用短时傅立叶信号和余弦信号进行噪声对消性能测试,在单一的BP算法中,网络的训练次数、学习速度、网络层数以及每层神经元的节点数都是影响BP网络的重要参数,通过仿真实验可以发现,适当的训练次数可以使误差达到极小值,但是训练次数过多,训练时间太长,甚至容易陷入死循环,或者学习精度不高。学习速度不能选择的太大,否则会出现算法不收敛,也不能选择太小,会使训练过程时间太长,一般选择为0.01~0.1之间的值,再根据训练过程中梯度变化和均方误差变化值确定。基于梯度下降原理的BP算法,在解空间仅进行单点搜索,极易收敛于局部极小,而GA的众多个体同时搜索解空间的许多点,因而可以有效的防止搜索过程收敛于局部极小,只有算法的参数及遗传算子的操作选择得当,算法具有极大的把握收敛于全局最优解。使用遗传算法需要决定的运行参数中种群大小表示种群中所含个体的数量,种群较小时,可提高遗传算法的运算速度,但却降低了群体的多样性,可能找不出最优解;种群较大时,又会增加计算量,使遗传算法的运行效率降低。一般取种群数目为20~100;交叉率控制着交叉操作的频率,由于交叉操作是遗传算法中产生新个体的主要方法,所以交叉率通常应取较大值,但若过大的话,又可能破坏群体的优良模式,一般取0.4~0.99;变异率也是影响新个体产生的一个因素,变异率小,产生个体少,变异率太大,又会使遗传算法变成随机搜索,一般取变异率为0.0001~0.1。由仿真结果得知,GA与BP算法的混合算法不论是在运行速度还是在运算精度上都较单纯的BP算法有提高,去噪效果更加明显,在信噪比的改善程度上,混合算法的信噪比针对傅立叶信号提高了16db左右,针对余弦信号提高了23db左右。叁、结论用短时傅立叶信号和余弦信号进行噪声对消性能测试,通过分别使用单一的BP算法和混合算法作比较发现遗传算法具有很强的处理能力和优化能力,用它优化BP神经网络的权值,与原有单一的BP算法相比,可以节省大量的学习和计算时间,而且提高了信噪比。

参考文献:

[1]. 多输出神经元模型的多层前向神经网络及其应用[J]. 汪秉文, 沈艳军, 何统洲. 控制理论与应用. 2004

[2]. 多输出神经元模型的多层前向神经网络及其应用[D]. 沈艳军. 华中科技大学. 2004

[3]. 基于神经网络和数据包络分析方法的安全库存预测及评价研究[D]. 刘婷. 重庆交通大学. 2008

[4]. 基于遗传优化的神经网络控制策略的研究[D]. 陈海军. 燕山大学. 2010

[5]. 混合神经网络及其应用研究[D]. 夏宏飞. 浙江大学. 2003

[6]. 多层前向神经网络的结构辩识和改进算法[D]. 全宏亮. 武汉科技大学. 2002

[7]. 基于神经网络的多变量解耦控制方法研究[D]. 李云飞. 大连理工大学. 2007

[8]. 基于神经网络的水下机器人建模方法研究[D]. 张剑. 哈尔滨工程大学. 2006

[9]. 移动机器人局部路径规划的研究[D]. 朱云国. 合肥工业大学. 2006

[10]. 基于BP算法和遗传算法的自适应噪声抵消器[D]. 张艳. 吉林大学. 2004

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

多输出神经元模型的多层前向神经网络及其应用
下载Doc文档

猜你喜欢