神经网络与支持向量机学习算法的理论及仿真研究

神经网络与支持向量机学习算法的理论及仿真研究

周昊飞[1]2016年在《基于模式识别的自动化生产过程质量智能诊断研究》文中指出过程实时智能监控与诊断是政府实施食品药品质量安全大数据监管、智能制造“十叁五”发展规划的重要环节。传统的统计过程控制方法难以满足过程实时质量智能监控的需求,基于模式识别的过程智能监控及诊断已成为质量管理领域的新方向。目前该方面的研究多集中于控制图模式识别、异常模式参数估计等方面。现有识别模型大都采用人工神经网络或支持向量机单一类型分类器进行建模,存在计算复杂、识别效率低等问题,而现有异常模式参数估计模型难以对细微变动参数进行精准估计。因此,如何构建更为高效的识别模型与异常模式参数估计模型是本文亟待解决的问题。在国家自然科学基金项目“基于模式识别的动态过程质量监控及诊断”的研究基础上,本文系统地研究了过程实时智能监控与诊断方法。首先,依据质量特性测量数据流的变化特性,将自动化生产过程运行状态划分为正常模式与趋势、阶跃、周期异常质量模式。其次,提出了过程质量模式混合特征,并构建了神经网络与支持向量机相结合的质量模式识别模型。而后,构建了小波重构特征与多核支持向量回归相结合的异常模式参数估计模型。最后,提出了自动化生产过程在线质量智能诊断框架,并通过某国有企业精密轴加工过程的实例应用验证了该诊断框架的有效性。本文的研究主要分为四个部分,具体内容如下:(1)自动化生产过程质量模式识别模型研究研究了自动化生产过程质量模式的混合特征,并构建了同时应用神经网络与支持向量机的质量模式识别模型。首先,将小波分解低频近似系数与形状特征进行顺序组合形成过程质量模式混合特征。其次,利用基于均值特征的神经网络将过程质量模式划分为正常与周期、向上、向下叁大类别。进而,通过基于混合特征的支持向量机将叁大类别细分为正常、周期、上升趋势等六种质量模式。仿真实验表明,所提识别模型不仅结构简单且识别精度高,能有效应用于在线过程智能监控。(2)自动化生产过程异常模式参数估计模型研究研究了小波重构数据特征、多核函数的支持向量回归学习器,构建了基于小波重构与多核支持向量机回归的自动化生产过程异常模式参数估计模型。首先,提取过程异常模式的小波重构数据特征,以突显参数细微变动时异常模式的差异。进而,利用由线性核函数与高斯核函数组合形成的多核支持向量机回归对异常模式参数进行估计。仿真实验表明,所提参数估计模型在参数细微变动时仍有较好的估计能力。(3)自动化生产过程在线质量智能诊断框架研究研究了集成识别模型、异常模式参数估计模型与专家诊断知识库的自动化生产过程在线质量智能诊断框架。首先,采用“监控窗口”对过程质量特性测量值进行在线取值,应用识别模型识别当前“监控窗口”内数据流所属的质量模式类别。进而,当“监控窗口”内数据流为异常模式时,采用参数估计模型对其异常模式参数进行估计。而后,将过程异常类别及参数估计值与专家诊断知识库中的规则进行匹配,查找过程异常原因。(4)精密轴加工过程在线智能监控与诊断实例研究以精密轴加工过程为例,验证了所提质量智能诊断框架对自动化生产过程在线智能监控与诊断的有效性。首先,利用蒙特卡罗方法产生精密轴质量特性轴径的质量模式数据,对诊断框架中识别模型、参数估计模型进行离线训练与测试。而后,利用专家经验知识与故障树分析方法构建精密轴专家诊断知识库。最后,应用离线训练好的质量智能诊断框架对轴径实际加工过程进行在线智能监控与诊断。实例应用表明,所提质量智能诊断框架能有效应用于自动化生产过程的在线质量智能监控与诊断。本文的研究特色与创新之处可概括为:(1)针对现有特征提取多采用单一类型特性、已有融合特征难以满足数据维度低且模式区分力强的需求,提出了小波分解低频近似系数与形状特征顺序组合的混合特征,所提混合特征不仅数据维度低且细节信息强,具有较强的模式区分能力,大大降低了识别模型的计算复杂度。(2)针对现有识别模型多采用神经网络或支持向量机单一类型分类器进行建模,存在模型结构复杂、识别效率低等问题,提出了基于神经网络和支持向量机的质量模式识别模型,提高了自动化生产过程质量模式的识别效率。(3)针对已有估计模型存在对细微变动参数难以精准估计的问题,提出了基于小波重构与优化多核支持向量回归的异常模式参数估计模型,并与识别模型、专家诊断知识库进行结合形成了在线质量智能诊断框架。本文研究成果不仅为自动化生产过程提供了一套可操作的质量智能监控与诊断方法,而且可拓展到金融市场、食品药品安全等政府监管领域。

刘庆平[2]2003年在《神经网络与支持向量机学习算法的理论及仿真研究》文中研究表明传统的神经网络(BP网络)在网络训练和网络设计上长期受困于叁个难以克服的缺陷,即网络训练速度慢、训练易陷入局部极小点和网络学习的推广性能差。本文从算法层和计算理论层两个层次对造成这些缺陷的原因和克服这些缺陷的方法进行了系统的研究。在算法层,本文对目前用于神经网络训练的各种算法,包括梯度算法、智能学习算法和混合学习算法进行了比较研究;对用于神经网络训练的BP算法的优化原理进行了详细的理论分析,找到了BP算法存在严重缺陷的原因,并对其两类改进算法-启发式算法和二次梯度算法―的优化原理,在统一的框架之下进行了详尽的理论描述;对神经网络全局优化算法主要是遗传算法进行了详细的阐述,并在此基础上,设计了一种性能改进的遗传算法;最后基于神经网络学习的benchmark问题对各种算法在网络训练中的应用性能进行了仿真研究,并提出了遗传算法受困于“维数灾难”的观点。这一层次的研究表明,算法层只是在原有神经网络的框架下利用高性能的优化算法克服网络学习的前两个缺陷,由于受目前优化理论的限制,很难有巨大的突破。在计算理论层,从机器学习的角度分析了造成神经网络设计困难的原因;对指导神经网络设计的统计学习理论和正规化方法给以了系统的阐述;并重点对由统计学习理论直接导出的先进的学习机器—支持向量机—的理论进行了比较全面的阐述;通过函数逼近和系统建模等学习任务对神经网络和支持向量机学习的推广性能进行了仿真研究。这一层次的研究表明,支持向量机可以很好地克服神经网络学习的叁个缺陷。因此,从计算理论层出发,对网络学习的本质进行研究,并设计新的高性能的学习机器,从而避开传统神经网络学习机器存在的难以克服的困难,是从根本上解决神经网络学习问题的可行方法。本文最后对神经网络学习和支持向量机学习的研究领域仍需进一步研究的课题提出了自己的见解。

袁小芳[3]2006年在《基于混沌优化与支持向量机的建模与控制研究》文中进行了进一步梳理近年来,模糊逻辑、神经网络、进化算法、混沌优化、支持向量机等计算智能理论和方法是国内外电子工程、自动化、计算机科学等领域研究的热门前沿课题之一,取得了很大的发展,尤其是在控制领域得到了深入研究和应用。本论文以混沌优化、支持向量机二种计算智能方法为主,以此研究非线性系统的建模与控制。论文首先介绍了混沌理论的相关知识,接着详细地描述了混沌优化算法,在分析混沌优化算法特点的基础上,提出了一种并行混沌优化算法融合单纯形法的优化算法,接着分析了该优化算法的优化性能。随后,论文将该优化算法应用于多种类型模型的系统辨识,既有线性系统,又有非线性系统,取得了较好的仿真结果。支持向量机方法是一种新的机器学习算法,其原理是建立在统计学习理论的VC维理论和结构风险最小原理基础上,表现出了许多优越于人工神经网络的优点,如:全局最优、学习训练速度快、范化能力强等等。论文描述了支持向量机的基本知识,从支持向量机分类和回归两个方面介绍了其基本原理和理论,描述了核函数的形式和网络结构,并着重介绍了支持向量机的学习训练算法。其后,针对非线性系统的模型辨识及其逆模型辨识等建模问题,论文考虑将非线性逼近性能强、学习能力强的支持向量机应用于此类建模问题,以此作为控制器设计的基础。文章描述了基于支持向量机的建模步骤和具体实现方法,并且以仿真的形式验证了其实际性能。接着,论文研究了基于支持向量机逆模型的控制器设计,提出了支持向量机直接逆模型控制、PID补偿的支持向量机逆模型控制,通过仿真研究验证了所研究的这二种逆模型控制器的性能和效果;考虑到支持向量机具有很强的学习能力,文章还研究了利用支持向量机去提高模糊推理系统的学习能力、优化能力,从而提出了一种支持向量机-模糊推理自学习控制器,并对比研究了梯度法、混沌优化算法这二种学习算法,并给出了相应的仿真结果。

雷剑[4]2008年在《基于支持向量机优化RBF神经网络的算法及应用研究》文中指出学习是人类的基本智能活动,学习能力是人类智能的根本特征。机器学习是指机器在人工智能系统中模拟并实现各种学习行为的过程。传统的机器学习方法主要有神经网络、小波网络、模糊系统及建立在统计学习理论基础的新的通用机器学习方法——支持向量机等。径向基函数神经网络是一种新颖有效的前馈式神经网络,它具有其他前向网络所不具有的最佳逼近的性能和全局最优的特性,并且结构简单,训练速度快。在RBF神经网络中,隐层中心的数量和位置是整个网络性能优劣的关键,直接影响着网络的性能。中心的数量即隐层节点数量选得太多,容易导致过拟合,使得推广能力下降;中心数选得太少,所学习的网络对样本中包含的信息学习得不充分,也会使得推广能力下降。在实际应用中,RBF网络的优势在于用线性学习算法来完成以往非线性学习算法所做的工作,同时又能保持非线性算法所具有的准确率高等特点的神经网络。但是,在解决高维数据问题时,用传统方式确定的RBF网络在推广能力上有着很明显的缺点。基于统计学习理论的支持向量机算法具有坚实的数学理论基础和严格的理论分析,具有理论完备、全局优化、适应性强、推广能力好等优点,它在很大程度上解决了以往的机器学习模型的选择与过学习、非线性、维数灾难、局部极小点等问题,由于支持向量机在模式识别、回归估计、函数逼近、风险预算、金融序列分析、密度估计、新奇性检验等各个领域获得了巨大成功,立刻成为了机器学习、神经网络、人工智能等方向的专家与学者研究的对象。它使用结构风险最小化原则,综合了统计学习、机器学习和神经网络等方面技术,在最小化经验风险的同时,有效地提高了算法泛化能力。它与传统的机器学习方法相比,具有良好的潜在应用价值和发展前景。本文以径向基函数神经网络和支持向量机为主要研究对象,在介绍了机器学习方法的基础理论以及RBF神经网络和支持向量机的机理后,分析研究了这两种学习方法的内在联系。本文在研究这种内在联系并阐述遗传算法的流程和基本原理的基础上,提出了基于支持向量机和遗传算法RBF神经网络优化算法,即使用遗传算法为支持向量机进行模型参数选择,再利用所建立的支持向量机来构造RBF神经网络。此算法避免了传统算法易陷入局部极小点的缺点,又不需要通过大量实验或凭经验预先指定网络结构。最后,将用本算法优化的RBF神经网络用于非线性系统辨识,通过仿真实验表明,该RBF网络具有较好的辨识精度和泛化能力。

陈顺财[5]2008年在《基于支持向量机的时间序列预测研究》文中研究表明时间序列是指按照时间顺序排列的一组数列。在实际问题中,系统一般都是非线性的,由系统产生的时间序列也几乎都是非平稳的。对系统进行机理性建模往往比较困难,可以基于系统输入输出的观测数据,即时间序列建立模型,并对未知的数据进行预测。本文首先介绍了各种时间序列预测方法的建模预测原理,通过分析和比较,发现统计方法、灰色预测和神经网络各有优势,但是不能满足对复杂时间序列精确预测的要求,提出了支持向量机的方法。本文归纳了基于支持向量机的时间序列预测模型的设计方法,并以上证指数时间序列预测为例,通过仿真研究表明,支持向量机是一种有效的时间序列预测方法。支持向量机的参数对其学习能力和泛化能力有很大影响,到目前为止这方面还没有统一的理论指导,人们通常采用大量实验,人工选取满意的解,但这种方法耗时且获得的参数也不一定最优。交叉验证、经验公式和遗传算法也各有不足。针对支持向量机参数选择问题,本文引入了粒子群优化算法,粒子群优化算法简单有效,但容易陷入局部最小,所以采用了量子粒子群优化算法,量子粒子群优化算法全局搜索能力更强,但收敛速度不快。针对量子粒子群优化算法收敛速度慢的问题,提出了一种改进的量子粒子群优化算法,以太阳黑子时间序列为例,仿真结果表明,改进的量子粒子群优化算法全局搜索能力更强、收敛速度更快,预测误差更小,是一种有效的参数优化方法,可用于支持向量机对时间序列的预测。

展文宁[6]2008年在《基于增量学习的支持向量机分类算法研究及应用》文中认为本文研究了基于增量学习的支持向量机(Support Vector Machine,简称SVM)分类算法及其在油田沉积相分类中的应用。支持向量机是基于统计学习理论、借助最优化方法来解决机器学习的新工具。它有效地克服了神经网络方法收敛慢、解不稳定、推广性差的缺点。目前,SVM已成为机器学习领域的研究热点。随着科技的进步,需要处理的信息数据越来越大,另外在训练初期即获得一个完备的训练数据集是很困难的。因此,具有增量学习功能的支持向量机分类技术逐渐引起人们的广泛关注。本文针对上述情况,主要做了如下几个方面的工作:在对支持向量机理论深入分析的基础上,针对经典支持向量机增量算法BatchSVM存在的问题,提出一种改进的支持向量机增量算法。该算法通过KKT条件来对初始样本集中的样本进行有选择的淘汰,从而达到了提高分类精度的目的。文中用实验证明了算法的有效性。针对大规模训练样本情况下,支持向量机训练速度慢的现象,研究了训练集的预选取问题。首先,从对支持向量机的几何直观解释入手,提出了一种基于超平面邻近规则的有效样本预选取方法。然后,在该方法的基础上,结合论文前半部分的改进增量算法,又提出了一种基于有效样本预选取的SVM增量学习算法。从理论上分析了算法的计算复杂度,最后通过实验对该算法的性能做了测试。讨论了基于有效样本预选取的SVM增量学习算法在油田沉积相分类问题中的应用。对分类过程中的预处理、特征选择与提取等内容进行了详细阐述,并利用实际的测井曲线数据对算法的性能进行了验证。最后,对全文的工作进行了总结,指出了进一步的研究方向。

李大威[7]2017年在《基于集成学习的高分遥感图像玉米区高精度提取算法研究》文中研究说明农作物识别是农情监测的重要内容,是调查监测农作物种植面积、长势、产量、品质、病虫害等的基础。卫星遥感技术的快速发展为农业遥感行业应用提供了大量高质量的遥感数据源,蕴含丰富的地物信息,但遥感信息自动提取长期困扰研究学者。目前农作物信息的精细提取仍依赖人工目视解译,效率低下,受人员经验制约。虽然机器学习方法不断改进,但受作物种植品种差异大、地块破碎、同期作物混杂混种以及同物异谱等主客观因素的制约,规则简单、结构单一的自动提取算法在复杂地物分布情况下表现出极大的局限性。同时,各算法过分依赖手工设计的特征质量和大量的标记样本,地物分布复杂的高分数据源的地物提取精度较低,影响最终决策的准确性。因此,提高提取精度成为遥感技术在农业领域应用中的关键。集成学习能够利用多个学习方法解决同一问题,综合多种算法的优点,显着提高算法的整体泛化能力。本论文以集成学习为主线,研究高分遥感图像玉米区的高精度提取算法,将支持向量机、神经网络、深度学习与集成学习融合,从不同基本算法、不同特征集输入、不同算法结构等方面保证算法多样性,构建集成提取算法,以提高玉米区提取精度,提出的集成提取算法也能在其它类型农作物的信息提取中发挥作用。论文主要从以下四个方面开展了研究工作:(1)特征提取与特征集构建研究:在对高分遥感图像校正、融合等预处理和图像特征提取的基础上,以随机森林为技术手段,评估特征的重要性程度;遍历选择不同特征并构造组合,将其提取结果分别作为证据源,采用改进的权重系数和冲突概率自适应调整的D-S证据合成规则处理冲突证据,两组高分遥感研究区图像实验合成结果分别达到0.84和0.87以上,较传统合成方法提高了4%和6%;根据实验结果选取最优的特征组合,重组构建了光谱特征集、纹理特征集以及联合特征集,以其为输入开展后续研究。(2)同异质集成提取算法研究:探究典型监督算法—支持向量机和极限学习机网络等浅层学习方法的特点,研究了多分类器集成与合成规则;以混合迭代为手段,提出新的混合核支持向量机同质集成算法;进而研究不同学习方法的性能差异,提出以极限学习机网络和支持向量机为基本方法的异质混合集成提取算法,提高复杂地物分布情况下的高分图像信息提取算法的泛化能力。(3)深度网络集成提取算法研究:重点研究堆栈自编码和深度卷积神经网络的基本原理,分别探究其结构设置规则和参数设置优化方式;基于无监督特征学习构建的深度网络集成提取算法,针对一维像元数据和二维多特征图像实现深层特征的学习及玉米区类别属性的判别;同时针对二维卷积网络对输入数据的特殊要求,挖掘像元邻域的上下文信息,提出了基于像元扩展的二维输入图像制备方法,克服了复杂场景地物提取中等尺寸分块方法的缺点,为扩展二维卷积网络的农业遥感应用提供先决条件。(4)实验验证:以高分一号和高分二号的典型研究区图像为数据源,针对不同空间分辨率(2m与0.8m)、不同时相(单时相与双时相)、不同幅面(512?512、1024?1024与1500?1500等)、不同特征集(光谱、纹理与联合特征集)以及不同的地物分布特点的玉米区图像,通过多组实验验证集成算法性能。基于支持向量机和极限学习机的同异质集成提取算法总体精度较传统监督算法和单一学习算法有了显着提高,特别是联合特征集输入的结果基本达到了0.85,异质集成优于同质集成;联合特征集输入的二维卷积深度网络集成提取算法总体精度达到0.90以上。综上,集成学习能够有效提高高分图像玉米区提取精度,深度网络集成提取算法性能表现优于以支持向量机和极限学习机为基本方法的同质、异质集成提取算法,图像的高空间分辨率有助于提高集成算法的玉米区提取精度。

邢永忠[8]2009年在《最小二乘支持向量机的若干问题与应用研究》文中研究说明支持向量机集成了结构风险最小化、凸二次规划和核函数映射等几项技术,有效地解决了在经典机器学习中出现的“维数灾难”和“局部极小”等传统困难,并在许多领域得到应用。最小二乘支持向量机是支持向量机的一个改进模型,秉承了支持向量机的基本思想,并简化了标准支持向量机的计算复杂性,在控制领域具有很大的应用潜力。本文对最小二乘支持向量机的若干问题进行了较为深入的研究,主要贡献如下:(1)理论上解释了LS-SVM核函数矩阵在某些非正定的情况下也能取得较好学习效果的原因。利用矩阵分块的思想,将LS-SVM的优化求解(分类和回归是等价的)问题转换为一个低阶的对称正定线性系统。并发展了具有更小条件数的预处理共轭梯度算法(Preconditioned Conjugate Gradient, PCG),从而减少LS-SVM学习过程迭代次数,使训练速度得到明显提高。(2)指出了现有L-P小波核函数的不足:固定了基本小波的频率带宽,无法较好逼近频率丰富的信号。并提出了可调带宽的]Modified L-P小波核函数,由于该核函数通过平移伸缩可以构成平方可积空间上一组完备的基,能逼近复杂的函数,并通过调整带宽因子对突变信号具有逐步精细的描述特性,提高了支持向量机的泛化性能。(3)为简化计算复杂性,将可调带宽的Modified L-P小波核函数作LS-SVM的核函数,提出了Modified L-P小波核最小二乘支持向量机。为支持向量机的模型选择提供了新的核函数。实验结果表明,新的Modified L-P小波核函数最小二乘支持向量机的建模和逼近能力优于基于L-P小波核函数或高斯核函数最小二乘支持向量机。(4)分析了Suykens提出的加权LS-SVM对存在强野点的稀疏数据进行回归建模的不足和避免“过度拟合”,并利用具有全局特性的柯西分布概率密度函数,提出了基于柯西分布加权方法。由于考虑了生产过程中样本数据的稀疏性并存在噪声和野点,因此与原加权方法相比,新的加权方法更具有强的抗干扰性。(5)指出了加权的Modified L-P小波最小二乘支持向量机是离线式批量算法,当新样本序贯加入模型时,训练将这一时刻前所有数据都纳入计算样本,并重复这一过程,计算复杂性高,不适合在线学习的问题。为此,利用块矩阵理论,提出了新的加权迭代格式,避免了序贯加入新样本和剔除过时样本需重新矩阵求逆的运算,并根据拟合误差的大小,赋予样本不同的权值,使加权迭代Modified L-P小波最小二乘支持向量机具有了一定的稀疏性和较好的抗噪声干扰性,并拓展了它在实际中的应用范围。(6)指出了常用的“一对一”和“一对多”多分类算法的不足,提出了基于LS-SVM的多类分类策略的故障诊断方法。该方法充分利用了神经网络并行输出编码的方式,将多类别分类问题转变为数量较少的二类别LS-SVM分类器,识别过程仅涉及到各个判别函数的计算及最后的编码,使训练计算量、测试计算量大大减少,识别时间低于“一对一”或“一对多”的SVM多类识别方法。为支持向量机在故障诊断中的应用提供了一条新的有效途径。

叶涛[9]2007年在《基于机器学习的软测量技术理论与应用》文中研究说明世界是普遍联系的,并且以某种形式表现出来,这是本课题研究的基本哲学基础。这种普遍联系在数学家的眼里就是一种映射关系,或者说是函数关系。在信息时代里,这种映射关系蕴涵于成千上万的数据中。本文研究的软测量技术就是要寻找埋藏于数据中的各种函数关系。在当今以信息技术带动工业化发展的时代,仪器仪表和测试技术是信息科学技术的重要组成部分。现代社会,随着人们对产品质量要求的提高和人们安全意识与环保意识的提高,对各类测试仪器、检测仪器和分析仪器的需求日益增加。软测量技术是各类综合指标测试仪器、检测仪器和分析仪器的基础技术。此外,作为传统仪器仪表的重要补充,软测量技术在工业测控领域也具有广阔的应用前景。软测量技术研究对仪器仪表和测控技术的发展具有重要意义。通常,实际工业过程具有复杂非线性特性和存在大量噪声干扰,这限制了基于机理分析、多元线性回归和神经网络等传统软测量技术的应用。为了克服传统方法的局限性,本课题着重研究基于机器学习理论的、具有好的泛化能力和鲁棒性的非线性软测量建模方法。在保证模型泛化能力和鲁棒性的前提下,研究可以提高建模效率的改进实现算法。本课题的主要研究工作和成果有:(1)对传统k-最近邻(kNN)算法进行近邻距离定义的改进,用属性加权距离取代标准欧氏距离。进而,基于改进kNN算法提出了一种数据集剪辑算法,用于滤除矛盾数据样本。针对中大规模数据集提出了一种快速kNN算法,运行速度仅与最近邻数k值和数据集维数n值有关。通常,运行速度较传统算法可提高几倍至十几倍。对于局部学习算法的研究,最近邻子集的快速搜索算法研究具有普遍意义。(2)研究基于多神经网络的软测量建模方法,旨在提高工业环境下软测量模型的鲁棒性和泛化能力。提出了一种以聚类子簇数据作为验证数据集(而非训练数据集)的多神经网络,并将其用于构造两层结构多神经网络模型。针对纸浆Kappa值数据集,使用单一神经网络、两类单层多神经网络和两层多神经网络等四种模型进行软测量建模对比实验。实验结果表明,两层多神经网络模型的鲁棒性和泛化能力优于其他叁种模型。(3)将软间隔支持向量机回归算法用于软测量建模。给出了两个版本的ε-SVMR算法,同时给出了该算法的通用二次规划(QP)解算器和序贯最小优化(SMO)两种实现方法。针对纸浆Kappa值数据集进行两个仿真实验,分别研究ε-SVMR算法的自由参数对模型预测性能的影响和ε-SVMR算法两种实现方法的建模效率。主要结论是,基于SMO算法的SVM方法尤其适用于中大规模实际工业过程的软测量建模。(4)研究了时间序列的两种预测建模方法,即样本扩展TDNN方法和特征扩展SVM方法。两种建模方法分别基于过程时间序列的样本扩展数据集和特征扩展数据集。对于制浆蒸煮过程时间序列的仿真实验表明:多步预测的性能优于单步预测的性能,尤其对于样本序列较少的情形;特征扩展SVM方法的性能优于样本扩展TDNN方法的性能,尤其对于单序列输入的情形。(5)对过程神经网络(PNN)进行理论研究,揭示了过程神经元和传统神经元间的联系。指出了过程神经元可用传统神经元进行无限逼近,给出了两个逼近定理和证明,以及相关的两个推论。针对模拟产生的正弦波编码信号集进行仿真实验,研究过程神经网络的预测建模性能。实验得出的主要结论是,过程神经网络对于白噪声具有很好的抑制作用,从而增加了模型的鲁棒性。但其使用需要选取用于基展开的正交基函数系。(6)引入信号内积和范数的定义,提出了一种新的过程式输入学习算法,即过程支持向量机(PSVM)。针对模拟产生的正弦波编码信号集进行仿真实验,并将实验结果和过程神经网络的实验结果进行比较。PSVM方法的使用比较方便,可以避开正交基函数系的选择问题。当噪声幅度较小时,PSVM方法的表现优于PNN方法;当噪声幅度变大时,PSVM方法的表现稍差于PNN方法,但可通过对信号进行类似于PNN方法的基展开截频处理提高其预测性能。关于PNN和PSVM学习方法的研究为过程式输入的软测量建模提供必要的理论基础。本课题研究取得的创造性成果有:(1)提出了一种基于改进kNN算法的数据集剪辑算法,用于滤除数据集中的大误差样本。(2)提出了一种快速kNN算法,对于局部学习(消极学习)算法的研究具有普遍意义。(3)提出了一种以聚类子簇数据作为验证数据集(而非训练数据集)的多神经网络模型,用于构建泛化能力好的预测模型。(4)提出了过程神经元的两个逼近定理并给出了证明,揭示了过程神经元和传统神经元的内在联系。(5)提出了一种新的过程式输入学习算法,即过程支持向量机。总之,本课题以基于机器学习的软测量技术理论和应用作为主要研究内容,展开深入研究,取得了一些有益的成果。文中提出的软测量建模方法既丰富了软测量建模理论,也促进了软测量技术的工业实用化。后两章比较侧重理论研究,取得的理论成果不仅对软测量理论的发展具有重要作用,而且对机器学习理论的发展也有一定的促进作用。由于作者水平有限,文中难免有错误或不妥之处,恳请各位专家和读者批评指正。

姜滨[10]2010年在《FSP近区段含水率预测算法及温度自适应加权融合方法研究》文中指出木材是一种可再生、又可多次循环回用的资源,加以性能优异、对环境友善、能耗亦低,是世界公认的绿色材料之一。木材干燥是保障和改善木材品质、提高木材利用率的重要环节。木材含水率(MC)是调控干燥过程、决定干燥质量的关键参数之一,而木材纤维饱和点(FSP)是木材性能重要的转折点。由于电测法是检测木材水分中离子团迁移及灰质等无机物的等效电阻值,而纤维饱和点含水率是自由水蒸发完,吸附水仍存留于细胞腔里的木材含水率转折点,此区间木材的直流电特性具有不稳定性。经实验观察,用电测法测量木材纤维饱和点近区段含水率会出现测量值突然偏离真值的现象,即出现测量“盲点”。要进一步提高木材干燥过程中含水率全量程的检测精度,需要解决木材纤维饱和点近区段含水率的检测问题。本文首先研究了统计学习理论和支持向量机(SVM)模型。阐述了机器学习问题、经验和结构风险最小化原则、学习机的VC维等基本理论;详细分析了支持向量机的基本原理并且对回归理论进行了详细阐述。然后介绍了BP神经网络的基本原理,拓扑结构和映射关系;分析了BP神经网络的训练算法及算法构成思想。在研究木材含水率检测原理的基础上,本文提出支持向量机和BP神经网络两种方法对已测含水率数据进行训练建模,然后预测得出纤维饱和点近区段含水率数值。仿真结果表明,BP神经网络利用小样本数据训练,经常在预测时出现“过适配”现象;利用大样本数据训练,在预测时泛化能力较强,可以达到比较准确的预测效果。支持向量机预测精度比BP神经网络预测精度高,而且只需要少量样本数据就可以实现预测,很好的解决了木材纤维饱和点近区段含水率预测问题。干燥窑内的温度是干燥过程重要的控制变量,由于高温、高湿的干燥环境,以及风机继电器的启停等干扰因素存在,降低了温度传感器的检测精度。本文基于参数估计理论,提出了一种基于自适应加权的时间和空间两级融合方法。该方法不要求测量数据的先验概率分布知识,编程简单,计算量小,可有效去除干燥窑内温度传感器测量数据中的误差,提高窑内温度的检测精度。

参考文献:

[1]. 基于模式识别的自动化生产过程质量智能诊断研究[D]. 周昊飞. 郑州大学. 2016

[2]. 神经网络与支持向量机学习算法的理论及仿真研究[D]. 刘庆平. 燕山大学. 2003

[3]. 基于混沌优化与支持向量机的建模与控制研究[D]. 袁小芳. 湖南大学. 2006

[4]. 基于支持向量机优化RBF神经网络的算法及应用研究[D]. 雷剑. 江西理工大学. 2008

[5]. 基于支持向量机的时间序列预测研究[D]. 陈顺财. 兰州理工大学. 2008

[6]. 基于增量学习的支持向量机分类算法研究及应用[D]. 展文宁. 昆明理工大学. 2008

[7]. 基于集成学习的高分遥感图像玉米区高精度提取算法研究[D]. 李大威. 中北大学. 2017

[8]. 最小二乘支持向量机的若干问题与应用研究[D]. 邢永忠. 南京理工大学. 2009

[9]. 基于机器学习的软测量技术理论与应用[D]. 叶涛. 华南理工大学. 2007

[10]. FSP近区段含水率预测算法及温度自适应加权融合方法研究[D]. 姜滨. 东北林业大学. 2010

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

神经网络与支持向量机学习算法的理论及仿真研究
下载Doc文档

猜你喜欢