神经网络的分类、聚类功能及其规则抽取研究

神经网络的分类、聚类功能及其规则抽取研究

雷景生[1]2003年在《神经网络的分类、聚类功能及其规则抽取研究》文中认为基于数据挖掘的观点,本文在前人研究的基础上,对神经网络的分类、聚类功能及其规则抽取进行研究,取得了一些有价值的结果。 在神经网络分类器研究中,1)提出了一种确定BP网络分类器初值的方法,用来提高BP网络的收敛速度,降低分类误差,避免局部极小问题。2)在FTART2的基础上,提出了一种快速自适应神经网络分类器FANNC。同时,对FANNC的容错性网络训练提出了一种有效的方法。3)提出了一种新的构造神经网络分类器集成的方法,理论分析及实验结果表明,其分类效果较好。 在神经网络的聚类功能研究中,1)在分析SOM算法存在问题的基础上,提出了一种模糊自组织映照网络(FSOM)算法,克服了传统SOM算法的不足。2)分析了基于LVQ的FCNN算法的局限性,并对其进行改进,结果表明,改进后的学习算法可以有效克服原有算法的不足并具有较高的收敛速度。 在神经网络规则抽取方法研究中,提出了一种从FANNC网络中抽取if-then规则的方法,试验结果表明,该方法能抽取可理解性好、预测精度高的if-then规则。

马彧[2]2008年在《基于权值聚类的神经网络规则抽取算法》文中研究表明神经网络是一种黑箱模型,严重影响了用户对利用神经计算技术构建智能系统的信心及神经网络技术在数据挖掘领域的应用。因此,将神经网络中隐含的不易理解的知识转化为IF-THEN形式的易于理解的规则知识,对增强神经网络的理解和知识获取具有重要意义。本文提出了一种新的基于聚类的神经网络规则抽取算法REBC。REBC算法是一种针对条件属性是离散型数据的分类问题提出的基于结构分析的神经网络规则抽取算法。它通过对剪枝后的网络的隐含层节点的激活值离散化来生成中间规则,并对输入层到隐含层间的连接权值进行聚类生成规则,并最终生成输入层到输出层的规则。实验结果表明,REBC算法是可行的、有效的。与传统的规则抽取算法比,在保证规则精度的情况下,大大降低了规则抽取的复杂度和抽取出的规则个数。

代亭[3]2012年在《粮食害虫智能检测及分类方法研究》文中研究说明粮食储藏安全问题引起世界各国普遍关注,粮食安全储藏关系国计民生,社会和谐和国家粮食安全。粮食害虫检测与防治技术已成为国内外共同关注的研究热点。本文结合我国粮食安全的迫切需求,基于我国粮食害虫检测与防治技术的发展状况,着重研究基于图像识别的储粮害虫检测与分类技术,开发相应的检测分类系统,以提高粮食害虫检测与防治的效果,达到粮食保量、保鲜、保质的目的。主要研究工作包括:1.粮食害虫原始图像预处理。以图像帧为单位进行分析,通过比较,采用自适应邻域平均法清除图像噪声;通过对矩量保持、最小误差、模糊集叁种自适应图像阈值的比较,最终的分割算法是采用最小误差法确定的阈值,较好的实现粮虫图像的自适应二值化分割;同时提出运用连通区域标定法对粮虫二值化图像进行目标确定,对多目标粮虫识别提供了较好的解决方法。并对粮仓中的玉米象、杂拟谷盗、长角扁谷道、黑菌虫、赤拟谷盗、锯谷盗、大谷盗等12种9类常见粮虫的周长、复杂度等14个形态特征作了特征提取;采用K-L变换用6维方式表示原始特征向量。2.基于径向基函数神经网络的粮食害虫分类器设计。提出了基于C均值聚类算法的BRF网络训练方法;研究了Gauss模糊分类器及模糊BP网络分类器的粮食害虫分类方法。3.粮食害虫规则分类器设计。提出了基于微分信息的神经网络规则有效抽取。首先基于分类超曲面的位置和形状特征、网络输出对网络各输入偏导数分布以及属性对分类的判别能力之间关系分析,提出了一种基于微分信息的属性判别能力度量方法,该度量方法适用于连续属性和离散属性,并有效克服了基于信息熵的属性判别能力度量方法的不足,进而提出了神经网络以及连续属性的规则抽取的新的方法,包括属性选择、属性取值空间估计与分割以及规则表示等的具体处理方法,并建立了规则抽取的具体算法。最后研究了基于网络输出范围调整的网络复杂性调整理论与方法。4.对图像识别储量害虫检测系统进行了软件和硬件设计,通过对现有的集中主要储量害虫检测方法进行研究分析,确定对储量害虫图像识别研究的意义,并设计出粮食害虫在线检测识别平台的架构。

文专[4]2004年在《基于神经网络的分类数据挖掘属性选择和规则抽取研究》文中认为数据挖掘是一门从大规模数据中提取有用信息和知识的新兴技术,分类是数据挖掘的一项重要内容 。面对大规模、高维的数据,如何建立有效的,可扩展的分类数据挖掘算法是数据挖掘研究的重要方向之一。在分类数据挖掘中,属性选择和规则抽取是两个最重要的工作。神经网络是数据挖掘的一个重要工具,而现有的神经网络属性选择方法必须对全部属性进行训练和裁剪,造成网络规模过大,训练量大,效率低下的缺陷,为了克服这些缺陷,必须提出新的方法。本文以神经网络为主要研究方法,并结合模糊逻辑技术,对分类数据挖掘中的属性选择和规则抽取两个问题提出了一些有效的算法,具体的研究工作如下:提出了一种基于输入输出关联法排序的RBF神经网络属性选择方法。由于属性选择是一个NP-HARD问题,现有的属性选择方法计算过于复杂,效率低下。本文提出一种新的属性选择方法。该方法先用输入输出关联法对所有属性进行重要性排序,然后根据属性重要性次序用RBF神经网络进行属性选择。该方法避免了现有的神经网络降维方法必须对全部属性进行训练和裁剪的弊端,大大提高了属性选择的效率。提出了一种可分性判据排序的RBF神经网络属性选择方法。该方法先用可分性判据计算每个属性的重要度,并对其进行排序,然后根据属性重要性次序用RBF神经网络进行属性选择。提出了一种基于降维的概率神经网络模糊规则抽取方法。该方法先用上面的属性选择方法从原始属性集中选择部分最重要的属性,然后对这部分属性进行模糊化处理,接着用概率神经网络进行模糊规则抽取。该方法通过属性选择减少了神经网络训练规模,避免了对神经网络进行节点裁剪,从而大大提高了规则抽取的效率。并且,用模糊规则来表现知识,规则易于理解,规则精度也有所提高。

王煜[5]2006年在《基于决策树和K最近邻算法的文本分类研究》文中指出文本分类是文本挖掘的重要内容,是对信息的一种最基本的认知形式。目前的文本特征降维算法、改进或创造适应文本数据的分类算法、抽取文本分类规则等方面的研究仍远远不能满足实际的需要。本文主要研究了文本特征空间的降维问题、利用决策树抽取文本分类规则问题和改进KNN算法以适应文本分类问题。本文提出了叁种特征降维方法:一种是基于模式聚合和改进χ~2统计量的文本降维方法,有效地降低文本维数并可提高分类精度;一种是基于CHI值原理和粗糙集理论的属性约减的文本降维方法,据此提出的基于决策树的文本分类规则获取方法,可获得分类精度较高且易于理解的文本分类规则;第叁种是基于神经网络的特征抽取方法,此方法根据灵敏度将特征进行排序,采用二分法的方式去掉部分特征,降低了神经网络特征提取的计算量。本文提出了两种基于模糊决策树的模糊文本分类规则抽取方法。第一种方法采用分枝合并减少了分类规则,第二种方法提出了一种基于类信息熵和密度分布函数的数据模糊化方法,降低了数据模糊化的工作量和模糊决策树的规模,减少了分类规则数量。本文关于KNN算法的改进主要做了叁个方面的工作:欧氏距离中的权重求解问题:提出了两种权重求解方法。一种采用灵敏度方法获得每个文本特征对分类作用的权重,并且在距离公式中又加入了同一特征对不同文本类的分类作用的权重;第二种是基于chi-square距离理论的权重求解方法,首先根据SS-Tree划分的区域查找近似k0个最近邻,根据k0个最近邻和chi-square距离理论计算权重。这两种方法都可以提高KNN算法的分类精度。提高K个最近邻查找速度:提出了一种快速查找精确K个最近邻的算法TFKNN,预先建立SSR-Tree,SSR-Tree的每个非叶子结点的孩子按照其距父结点中心点的距离排序。根据这棵树进行K个最近邻的查找,只需在满足一定条件内的部分样本中查找K个最近邻,从而减小了查找范围,大大降低了相似度计算量。裁减样本库:提出了一种KNN算法中的训练样本库的裁减维护方法,首先采用CURE算法对训练样本库进行聚类,获得每个聚类的代表样本组成新的训练样本集合,然后用tabu算法对此样本集合进行进一步维护。此算法不仅极大缩减样本库裁减的工作量,且使KNN算法的分类速度和分类精度都得到了提高。

袁方[6]2006年在《面向智能信息检索的Web挖掘关键技术研究》文中进行了进一步梳理WWW自从1991年问世以来得到了非常迅速的发展,为人们获取各种信息提供了方便。随着Internet技术的不断发展和完善,WWW将会逐步成为人们获取信息的一个重要渠道。如果说,在信息量相对较少的时候,Internet为人们获取信息提供了方便的话,随着Internet上信息量的急剧增加,人们却感觉到查找所需要的信息越来越困难了,其原因就在于传统的信息检索方式已越来越不适应网上的海量信息,人们希望有更加智能化的信息检索方式出现,以应对海量信息的检索。 本文对面向智能信息检索的Web挖掘的若干关键技术进行研究,重点研究了数据预处理、Web页面分类/聚类及Web用户分类/聚类、概念检索、个性化服务等问题,提出或改进了一些应用于智能信息检索的Web挖掘算法,应用研究成果实现了一个小型智能化信息检索的系统原型。 数据预处理包括基于PDF文件的信息抽取、中文文本分词和Web日志预处理。对于PDF文件信息抽取,提出了基于格式注入的规则抽取和基于树模型的信息抽取算法,在人工标注指导下学习信息抽取规则,取得了较高的信息抽取准确率。对于中文文本分词,提出了基于固定词典和统计相结合的渐进式丰富词典的中文文本分词方法,较好地解决了新词识别问题,相对于单纯的词典方法或统计方法,具有更好的分词效果。Web日志预处理包括数据清洗、用户识别、会话识别和路径补充等工作,在分析已有工作的基础上,重点讨论了路径补充问题并提出了新的路径补充算法,使Web日志预处理工作更加完善。 在中文页面分类研究中,讨论了用于文本分类的各种方法,重点讨论了对文本分类具有较高分类准确率的k-近邻方法。针对k-近邻方法分类效率不高的问题,提出了基于密度的训练样本集约减、渐进式分类等算法。通过计算训练样本集中各类别的类别密度及整个训练集的平均密度,去掉高密度类别中的部分样本;渐进式分类模式模拟人工分类文本的智能化形式,分为按标题分类、按关键段落分类和按全文分类叁个层次,尽量减少分析全文的比例。实验表明,这两个方面的改进,不仅提高了k-近邻方法的分类效率,而且对其分类准确率也有一定程度的提高,这说明训练样本集的约减使其具有更好的代表性,渐进式文本分

何田中[7]2005年在《神经网络分类器及其规则抽取技术的研究》文中进行了进一步梳理数据分类是数据挖掘的一个重要功能,神经网络以其良好的抗噪性和鲁棒性而成为一种广泛使用的数据挖掘工具,尤其是运用在数据分类中。但是,神经网络对用户来说是一个黑箱,所获得的知识隐含在神经网络的连接权中而难以理解。该文针对这种情况,建立了一个基于神经网络的数据分类系统模型,通过数据处理、网络训练、规则抽取几个阶段,达到将获得的知识清晰化的目的。在系统中,首先对连续性数据作规一化和对语义性数据进行编码;然后经过网络训练而获取知识;规则抽取采用功能性方法:即把神经网络视为黑盒,随机产生输入得到相应的输出组成实例,然后采用Rough集的方法进行约简得出规则。

柳凌燕[8]2010年在《基于免疫规划的图像情感规则抽取算法的研究》文中认为图像中蕴涵着丰富的情感信息,图像的底层视觉特征,如颜色、纹理、形状等与图像的情感语义具有一定的对应关系。揭示图片的情感特征不仅能更深刻地描述图像,还可以将其应用于图像的人性化检索等领域。由于视觉特征到高层语义的映射通常是非线性的,难于为其建立模型,因此利用计算机模拟人类情感对图像情感语义准确理解是人工智能领域公认的难题。近年来,研究人员在进行相关问题的研究中投入了大量精力,主要的方法是引入人工智能和机器学习技术结合分类或聚类算法,通过人工交互,机器学习以及利用外部信息源等方法来实现。图像情感规则抽取的研究重点在于创建一个根据图像基本特征可对其进行感知和识别,并对图像特征中所包含的情感信息进行可理解化的描述。要实现针对图像的特征所包含的情感信息以可理解性较好的规则的形式表达出来,首先要选择适合的神经网络来对图像的特征及其情感间的映射关系进行学习。由于人类情感具有一定的复杂性、模糊性以及不确定性,虽然目前已经有很多图像情感方面的研究,但它们大多偏重于针对有限的几种典型情感进行辨识和分类,远未达到人类所赋予计算机理解和解释人类在真实世界中面对复杂多变的外界环境时所产生的各种各样的情感现象的学习以及准确分辨的能力。因此,对图像情感进行规则抽取是十分有必要的。本文的主要工作如下:(1)通过分析对情感变化产生影响的图像低阶特征,利用已通过心理学实验进行情感标注的中国情绪图片库中的风景图片,对其颜色特征采用HSV颜色空间内的非均匀量化方法,提取出图像的主颜色;(2)将其中一部分图片的颜色特征以及与其相对应的情感特征作为神经网络的训练集,训练标准叁层BP神经网络;(3)分析了已有的RX规则抽取算法,并在此基础上提出了基于免疫规划的神经网络规则抽取算法,该算法根据适应度函数的大小,不断更新种群来求得最优的隐层单元激活值聚类效果,并通过列举各神经元输入与输出的关系来形成形式简洁,精度高,可理解性好的合取规则。应用本文所提出的算法建立图像低阶特征到高阶情感的映射,实验结果表明具有较高的准确率和效率。

陶俊剑[9]2010年在《基因表达式编程在神经网络中的应用研究》文中指出人工神经网络是智能控制的重要研究内容,自上世纪五十年代提出后,经历了曲折的研究进程,已经形成为一门比较成熟的学科,但其固有的一些缺陷极大地制约了神经网络的进一步发展。GEP是葡萄牙科学家Candida Ferreira于2001年首次提出的,是进化计算家族中的新成员。GEP是在综合了传统遗传算法(GA)和遗传编程(GP)各自的优点的基础上发展起来的一种具有基因型空间和表现型空间的新的进化算法。GEP通过采用简单的基因编码实现在全局范围内搜索到满足条件的最优解。这一点恰好能弥补人工神经网络在选取某些参数时的不足之处。例如,RBF神经网络存在着事先要确定中心向量个数、中心向量本身难以确定等缺陷,对整个网络的收敛性、稳定性和精度有较大影响;神经网络学习到的知识蕴涵在大量的连接权值中,我们并不知道神经网络到底学到了什么,能处理什么样的任务,也无从知道网络如何进行预测、为什么得出这样或那样的推理结论。这就是通常所说的神经网络的“黑箱性”。本文基于以上几个方面,将GEP的优点结合到神经网络中,提出了基于GEP优化的RBF神经网络算法(Radial Basis Function Algorithms based on Gene Expression Programming ,GEP-RBFA算法)和基于GEP的神经网络规则抽取算法(Radial Basis Function Algorithms based on Gene Expression Programming ,GEP-RBFA算法),并将其应用到模式识别,预测,控制等方面,取得较好的效果。

梁军[10]2015年在《基于Multi-Agent和驾驶行为的汽车追尾预警系统关键理论与技术研究》文中指出汽车追尾预警系统(Car Rear-End Collision Alarm System,CRCAS)作为一项人们行车安全的重要保障,一直以来是先进驾驶辅助系统(Advanced Driver Assistance Systems,ADAS)研究的组成部分,是车辆主动安全研究的重要方向,已成为当前交通安全与车辆工程交叉领域的研究热点与难点。国内外科研人员已经在CRCAS的理论与技术方面开展了大量研究工作,但是在很多地方还存在不足,有待完善与突破。论文以CRCAS为研究对象,对驾驶行为学习、驾驶环境感知、跟车模型、系统体系架构、预警算法等若干关键技术分别展开了深入细致的研究。论文的研究得到了国家自然基金项目“基于Multi-Agent和驾驶行为的汽车追尾预警模型研究”、江苏省自然科学基金“基于多智能体理论的汽车追尾预警模型研究”的资助。主要内容有:首先介绍了国内外关于驾驶行为模型及CRCAS相关的研究成果和存在的问题。以多智能体系统(Multi-Agent System, MAS)理论和分层集中控制思想作为CRCAS设计的基本思路,提出研究设计基于Multi-Agent和驾驶行为的CRCAS,重点研究解决提高CRCAS智能化水平的数据处理和建模及其相关的关键理论与技术。基于认知理论,提出认知型驾驶行为的概念,并以追尾事故为例,描述并分析了危险状况下驾驶员通常采取的驾驶行为及其控制策略,为驾驶行为学习和跟车模型的建立奠定了理论基础。重点研究了ANNI驾驶行为规则抽取模型及其集成模型(ANNIREA),并在此研究基础上成功抽取出了基于自建驾驶行为样本数据集的驾驶行为规则。为跟车模型跟车策略设计和追尾预警算法的设计提供了重要的保障。研究了道路交通图像中存在不确定、不完整信息的处理方法,分别提出了基于边缘约束与区域合并的遮挡车牌的定位算法(MM-OLP)和基于卷积神经网络与新型模板匹配的车牌识别算法(CM-LPR),有效提高了传统方法对遮挡车牌定位准确率低、污损车牌识别难度大、对道路交通标志和前车尾灯识别精度低,漏检、误检比率高等不足之处。与此同时,对基于差异性度量(MFA-DMFS)的驾驶环境感知融合方法和基于Multi-Agent的驾驶环境感知信息智能融合算法(VIFMA)进行了研究,为保证CRCAS的可靠性、高效性、时效性和资源适应性,实现道路交通驾驶环境感知诸多信息更广泛的融合打下坚实基础。针对当前叁种常见跟车模型都没有考虑前车制动时的减速度导致计算出来的安全距离偏差较大的不足,建立了基于前车加速度的跟车模型,该模型能够计算出更为精准的安全距离。提出并设计了一套跟车系统方法,进行最小距离的推算,并将其应用到随动控制模型中,采用神经网络控制加速度,使得系统的动力学控制部分具有良好的线性,并使用PID对加速度进行实时的校正,控制精度、时延等方面得到有效改善,实现了加速度的精确控制。仿真结果表明该模型即便在极端工况下仍能保持较好的跟车。借鉴微观粒子力学理论,在考虑后车驾驶行为和动力学特性的基础上,探讨了融合前、后车综合效应的动态平衡跟车模型。提出了基于MAS的分层集中式体系结构(MAAM),其最大特点在于各模块不仅仅采用Agent形式进行设计,同时引入分布运算的Agent进行分层集中控制,而且还增设代理Agent处理Agent之间的通讯、集中处理层与层之间的消息存储、转发。在此基础上,建立了基于MAAM的CRCAS体系结构,并设计了主要Agent的功能。研究了基于Multi-Agent技术和FSS有机结合的智能预测方法(IPMM),揭示了IPMM特别适用于当前道路交通数据以多源/多元性、不完备性、不一致性和不精确性为新特征的分布式智能化预测环境。在此基础上,详细阐述了追尾预警数据分析Agent对道路交通数据平稳性、相关性及混沌性等特性分析的必要性与实现方法,从数学的角度验证了CRCAS及其方法研究的可行性。着重研究了追尾事故预测Agent的结构与功能,并提出了追尾事故预测Agent基于Bayes图模型和基于遗传神经网络模型两种方法的汽车追尾预警算法,仿真结果验证了上述两种方法的可行性。最后,借助PreScan软件、罗技(Logitech)G27,以及现有模拟仿真计算平台,自主完成了一套具有重复可控的试验工况、高速的仿真运算能力和无风险的极限工况试验特点的驾驶模拟器仿真试验平台的搭建工作,在该平台基础上开发了追尾预警原型系统,使得系统参数调整方便、操纵简单、记录数据快捷且可靠,满足大幅度缩短试验周期、降低试验成本并能验证充分的系统设计与开发要求。通过模拟城市道路和高速公路交通中常见的几种容易发生追尾事故工况下的仿真实验,结果显示本文方法与传统方法相比预警响应时间普遍得到提前(高速公路工况下平均提前了约2s)并有效避免了追尾事故的发生、制动踏板的开度变化也具有了人类驾驶行为特征(如“点刹”)、而且两种预警算法均及时有效,从而验证了上述理论与方法的可行性和高效性。

参考文献:

[1]. 神经网络的分类、聚类功能及其规则抽取研究[D]. 雷景生. 新疆大学. 2003

[2]. 基于权值聚类的神经网络规则抽取算法[D]. 马彧. 吉林大学. 2008

[3]. 粮食害虫智能检测及分类方法研究[D]. 代亭. 河南工业大学. 2012

[4]. 基于神经网络的分类数据挖掘属性选择和规则抽取研究[D]. 文专. 天津大学. 2004

[5]. 基于决策树和K最近邻算法的文本分类研究[D]. 王煜. 天津大学. 2006

[6]. 面向智能信息检索的Web挖掘关键技术研究[D]. 袁方. 东北大学. 2006

[7]. 神经网络分类器及其规则抽取技术的研究[D]. 何田中. 南昌大学. 2005

[8]. 基于免疫规划的图像情感规则抽取算法的研究[D]. 柳凌燕. 太原理工大学. 2010

[9]. 基因表达式编程在神经网络中的应用研究[D]. 陶俊剑. 广西师范学院. 2010

[10]. 基于Multi-Agent和驾驶行为的汽车追尾预警系统关键理论与技术研究[D]. 梁军. 江苏大学. 2015

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

神经网络的分类、聚类功能及其规则抽取研究
下载Doc文档

猜你喜欢