基于P2P的资源搜索方法研究

基于P2P的资源搜索方法研究

王国英[1]2004年在《基于P2P的资源搜索方法研究》文中研究指明随着存储空间的增大和存储价格的下降,即使是一个较小的P2P用户群也会共享大量的数据。大量的共享资源使得P2P系统吸引了大量的用户,但困难的是如何在大量的共享资源中寻找用户想要的资源。 本文在分布式散列表(DHT)思想的基础上,设计并实现了一个基于元数据的对等信息系统MPIS。由于网络资源具有多样性和复杂性,为了准确表述用户对资源的要求,也为了使系统返回给用户的结果能更好的满足用户需求,需要用多个属性从不同角度描述资源,从而构成这个资源的元数据。利用DHT可以将单个键映射到网络中的节点的特点,在发布资源时,MPIS将资源的各个属性对应的倒排索引发布到特定的节点;在搜索资源时,用户根据实际需要指定一个或多个资源属性值作为搜索条件,MPIS根据用户指定的各个属性搜索条件将搜索请求路由到存放各个属性倒排索引的节点,并将多个属性值对应的倒排索引求交集以使得结果满足用户的所有条件。我们在Linux环境下,利用Tapestry的DHT模块,采用Java语言,实现了一类比较典型的带有元数据的资源(MP3音乐文件)的发布和搜索。对于搜索时经常一起使用的属性,我们使用组合属性的方法进行发布和搜索,从而减少了倒排索引传递时的网络传输和求交集时的CPU周期。考虑到属性的同义性和近义性,我们在系统中建立常用的近义词库来扩展搜索的范围。另外我们使用虚节点的方法模拟大量节点来检验我们的系统,并且这种方法在一定程度也可以起到负载平衡的作用。 论文首先介绍了P2P的概念,研究了现有的各种P2P模型的搜索方法,并分析了各自的优缺点;接着研究了如何基于Tapestry构建P2P应用系统;随后详细叙述了MPIS的设计方案和实现方法;最后实验性地使用MPIS发布和搜索一些资源,分析MPIS的效率以及其他一些相关问题,展现了MPIS的实用性。

孙华志[2]2008年在《网格环境中基于P2P的资源共享研究》文中研究指明网格和P2P计算是当前分布式计算领域的两个研究热点,两者采用的技术不同,但对于分布在网络中的硬件和软件资源进行共享和协同是两者的共同目标。近年来,在研究和应用领域,网格计算和P2P计算出现相互融合的趋势。针对网格和P2P研究领域存在的问题,Ian Foster指出,虽然网格的体系结构较为完善,但对于体系中单节点失效及其所带来的数据、服务失效等问题尚无完整的解决方案;而P2P对于节点动态变化有较好的适应性,却没有良好的系统模型[1]。能否将二者的优势进行融合并给出融合后系统中诸如服务失效,资源定位与查找等关键问题的解决方法是当前分布式计算领域研究的热点和难点。围绕该问题,本文对网格和P2P的融合问题进行了深入的理论和实践研究。研究中以大系统控制论[2]为指导,提出了基于P2P的Grid模型—GriP模型,该模型将二者的优点即良好的体系结构和健壮的节点故障恢复结合在一起;给出了解决网格中节点失效问题的P-SRing方法;在解决了GriP拓扑稳定性地基础上,提出了在资源管理系统(ResourceManagement System,RMS)中基于元数据的资源共享机制及高效资源发现算法。本文的主要内容与创新点包括:(1)提出了一种基于Grid与P2P相结合的集散式网络计算新模型GriP网格系统结构稳定,但系统不能有效地解决单节点失效问题,一旦某节点失效有可能导致整个系统的崩溃,P2P的最大优点是系统可以适应多个节点的动态变化,系统具有较好的灵活性和可扩展性。本文提出了一种将Grid和P2P相结合的系统模型—GriP,将网格技术和P2P技术有机地结合,既弥补了各节点组织不够灵活和节点不稳定的缺陷,又充分发挥了网格和P2P各自在节点控制方面的优点;模型中还提出了基于元数据的资源管理机制。该模型在融合了Grid和P2P各自优点的同时避免了两种模型本身固有的弊端。(2)提出了一种适应单点失效的双层混合型星环式网络拓扑结构P-SRing本文提出了一种“双层混合型”网络拓扑结构。其中,资源节点按照环状拓扑结构分布在低层,在高层中代理节点又与资源节点遵循星型网络的拓扑结构。在环状拓扑结构层中,每一个资源节点都以其邻节点作为其后继节点;某些节点发生故障时,通过本文给出的双层路由机制使整个系统具有更高的安全性与可靠性,当节点发生故障时,其后继节点会自动与相关节点进行连接,使网络能正常、平稳地运行。(3)提出了一种基于资源位置与用户兴趣的GriP节点定位快速算法在网格中进行资源查找分为两个步骤,资源节点快速定位和资源内容查找,针对资源节点的定位,本文提出了基于资源节点位置与节点反馈的资源搜索算法,利用位置信息对节点分群,保存历史查询的搜索反馈结果,计算邻居节点的预计搜索成功性,动态选择转发与实际位置相邻的节点以减少网络开销和发现资源的时间,通过计算邻居节点的兴趣相关度结合实际地理位置,提高了网络资源的搜索稳定性与查询效率。(4)提出了一种基于元数据与平衡树的GriP资源内容查找算法为了提高GriP系统中资源的查找效率,对于资源内容查找我们研究了用于标引资源的元数据的高效搜索算法,GriP中采用了基于XML的元数据标引方法,在此基础上提出了基于关键字的资源查找算法QBVT,对树的结构进行了改进,将父节点的信息增加到子节点中来,通过构建平衡树提高了基于资源内容的查询效率,降低了树的更新开销。

王国英, 苏德富[3]2004年在《基于P2P的资源搜索方法研究》文中研究指明基于Peer-to-Peer(P2P)理念的搜索方法较传统搜索方法具备更强的实时性和有效性,为新一代搜索引擎的研究提供了新的思路。文中首先介绍了基于P2P搜索方法的特点及分类,描述了各类基于P2P的资源搜索方法。在此基础上,分析了各类搜索方法的优缺点,并阐述了各类搜索方法的改进思路。最后探讨了基于P2P的资源搜索方法的研究与发展方向。

张丽英[4]2007年在《基于历史记录与语义相似度的P2P搜索算法模型及实现》文中进行了进一步梳理P2P是近年来学术界和工业界研究的一个热门领域。P2P技术是基于一种对等的思想,这种思想正在改变着人们对网络模式地思考模式。根据Peer-to-Peer Working Group Committee的定义,P2P在商业上的应用主要有文件共享、边界服务、分布式计算,其中文件共享是目前最重要的一个应用。文件共享是P2P技术兴起的原因,它也是目前P2P技术最广为人知的应用。Gnutella被认为是纯粹的P2P系统的代表,目前世界上用户最多的文件共享软件都基于Gnutella网络模型。但是由于Gnutella是采用洪泛式搜索,使得其在文件定位时传播大量的消息,消耗大量的带宽资源。本文对Gnutella的搜索机制进行了研究,结合目前的改进算法,提出了一种基于历史记录与语义相似度的搜索改进算法。该算法依据过去的查询消息和邻居节点的统计消息来选择邻居节点。并根据《知网》计算查询之间的语义相似度,从而支持语义查询。作者考虑了Gnutella系统的动态性,对节点加入网络、离开网络进行了处理。并在处理网络回路的时候,提出了自己的解决方法。在实验中对比了Gnutella的洪泛算法和本文提出的搜索算法,实验表明,经过一段时间的查询后,本文提出的搜索算法减少了系统中消息的传播量,提高了搜索的效率。

戴玉干[5]2007年在《基于P2P的分布式搜索技术研究》文中研究说明随着存储空间的增大和存储器价格的下降,单个用户也有大量资源可以共享。近几年,利用对等网(peer-to-peer,简称P2P)技术来进行文件共享引起了计算机界的关注。但是如何从P2P网络的大量共享资源中找到自己需要的资源,已经成为一个亟需解决的问题,所以找到一个好的P2P搜索方法是很重要的。典型的P2P网络Gnutella采用泛洪扩散的方式进行搜索,但是由于冗余消息的存在给网络带来了很大的压力。本文提出了一种新的P2P搜索方法——RSTree方法。基于P2P网络的小世界特性,此方法从改造拓扑的角度出发把网状拓扑构造成了树形拓扑,并且与随机邻居选择传播来扩大传播的广度的优点相结合,从而在保证搜索成功率的基础上大大减少了冗余消息的传播。本文首先阐述了P2P网络的概念,比较了C/S模型和P2P模型,介绍了P2P的分类、特性和应用情况。然后从拓扑结构角度出发分析了几种不同的P2P搜索技术。最后本文详细介绍了RSTree方法,分别介绍了RSTree方法的由来、相关思路、实现的主要步骤以及算法的复杂度,并仿真实现了此方法。

朱涛[6]2008年在《基于P2P的内容分发网络的系统结构资源搜索与路由算法研究》文中研究表明P2P(Peer-to-Peer,P2P)提供了诸如自主性(self organization)、负载平衡(load balancing)、有效性(availability)、容错冗余(fault tolerance)和匿名(anonymity)等很多吸引人的特性。Napsterl、Gnutellal和Freenet等典型的P2P系统为人们提供了丰富的资源共享和信息交互,网络应用的核心从中央服务器向边缘客户端扩散。CDN(Content Delivery Network,CDN)技术将内容服务从原来的单一中心结构变为分布式的结构,提出让内容离用户更近的全新理念,有别于传统的镜像站点概念。可以根据用户位置、各服务器负载状况等信息,将用户请求动态地导向最合适的内容服务节点,有效地实现负载均衡以及网络流量控制,改善网络性能,缓解流媒体传输的高吞吐率对骨干网络带宽带来的压力,同时提升流媒体服务质量。基于P2P网络构建CDN系统,能够从根本上解决基于服务器/客户机模型的系统的不可扩展性、低容错性和低鲁棒性。因此,将P2P技术与内容分发相结合,研究基于P2P的内容分发网络是克服当前内容分发不足的有效途径。将P2P和现有的网络技术结合起来将会带来一些技术性突破。本文将采用一种的新型的网络结构,由动态的自治系统及结构化的源服务器及代理服务器所组成。在自治系统内允许动态分层,每个结点根据自身不同的能力承担的不同的任务,以保证每个结点所承担的负载在自身的能力范围之内。根据自治系统内的高度动态性建立动态树形结构化扩散式的系统内路由算法;在服务器层根据稳定结构更多考虑QoS问题,从而构建并发的基于图的代理服务器路由算法,该算法将采用蚁群算法的度量参数及Petri网中的一些并发技术,文中对算法做了相应的仿真实验。

方群[7]2005年在《基于P2P的媒体点播系统的设计与实现》文中研究表明“基于P2P的媒体点播系统的设计与实现”论文是结合科技部“十?五”重大科技攻关项目“网络教育关键技术及示范工程”的“非实时教学系统”课题进行的。论文旨在研究对等网络(P2P)技术的体系结构、基本协议、搜索技术、应用领域和特点,并结合目前标准的P2P网络平台JXTA技术,提出了基于P2P的媒体点播系统的资源搜索应用模型,并着重阐述了其中资源搜索的功能框架,实现了灵活、高效、开放、适应性较强的媒体点播系统互联方案。论文首先介绍了网络教育的概况和特点,并将其与传统教育模型进行了对比,同时也介绍了媒体点播系统(MOD)的体系结构、系统组成和工作原理,接着讨论其在资源利用方面存在的若干问题,介绍了利用P2P搜索路由技术解决媒体点播系统中的资源共享问题的思路。其次,介绍了P2P网络的基本知识,包括其构成、特点、分类、研究内容和应用领域,重点阐述了资源搜索模型并分析了几种典型搜索模型的优缺点。再次,JXTA协议是P2P领域中具有开放性、标准化、与平台无关等特性的主流应用程序开发平台,本文原型系统构建于此,因此本文对JXTA的关键技术也做了深入研究,包括JXTA概念、体系结构、基本组成要素,重点介绍了JXTA的重要协议以及搜索技术等。第四,在理论分析的基础上,针对实际环境中对资源共享的要求,建立了基于P2P的媒体点播系统互联的体系结构和功能框架,概要描述了系统的组成和工作原理,然后详细阐述了媒体点播系统互联的资源发现和搜索、资源预订、查询路由等各项功能的设计与实现,并通过仿真分析显示了系统在性能和效率方面的优越性。最后,论文总结了基于P2P的媒体点播系统的优点和不足之处,并指出了今后需要改进的方向。

陈林书[8]2007年在《P2P中资源搜索算法研究及其在远程教育系统中的应用》文中研究指明近几年来,P2P作为一种新型的网络应用模式以其可扩展性、高度容错性等突出优点变得越来越流行。资源搜索机制作为P2P应用的核心技术,其目标是在P2P这种分布式动态环境中以最快的速度找到最多的满足用户要求的系统节点资源。结构化P2P网络中主要采用分布式哈希(DHT)搜索算法,它查找速度快、效率高,但受网络拓扑结构的限制其应用有限;非结构化P2P网络应用广泛,主要采用基于洪泛机制和索引目录发现机制的搜索算法,但基于洪泛机制的搜索算法容易产生网络消息风暴,而基于索引目录发现机制的搜索算法又存在单点失败和网络带宽瓶颈问题。针对以上问题,做了以下两个方面的研究工作:1.非结构化P2P网络的拓扑结构具有很大的随机性,节点之间能力具有相当大的互异性,例如CPU速度、网络带宽、在线时间、本地存储容量等方面存在很大的差别。针对P2P异构网络中对等节点能力进行了深入的研究,提出了一套评价和划分的方案,对节点能力互异性的选取原则、影响因素和评价规则等进行了详细的讨论。2.通过分析几类传统资源搜索算法的不足,针对非结构化P2P网络的异构性和节点能力的互异性,提出了一种新型资源搜索算法——节点能力自适应算法(NAAT),给出了NAAT算法的原理分析、执行步骤和算法伪代码。实验表明,该算法明显提高了资源搜索效率。作为节点能力自适应算法(NAAT)的应用,对一个P2P应用模型进行了深入的探讨,分析了一个P2P应用模型的开发环境、系统需求、设计目标、系统工作流程、功能模块划分和各功能模块的具体实现过程。基于以上应用模型,结合实际项目要求,设计并开发了一个在线远程教育系统,并在中南大学网络教育学院及其部分下属学习中心得到了较好的应用。

魏静[9]2010年在《一种混合式P2P网络资源共享系统设计与实现》文中指出互联网技术的飞速发展,导致海量网络资源的产生。目前,互联网几乎已成为人与人之间相互交流以获取信息资源的最大平台。尤其是多媒体技术与数字娱乐的发展,极大地推动了人们对网络资源共享的需求。传统的C/S(客户端/服务器)模式对于应付全世界范围内海量的用户请求,已显得越来越不堪重负。作为一种新兴的计算模式,P2P的产生就是希望能够尽可能地挖掘网络中潜在的计算资源,使网络资源得到最大化地利用。近年来P2P已迅速成为业界关注的热门研究领域之一,P2P为互联网技术的发展开启了新的篇章。在P2P网络中,每个用户节点都具有同等的功能地位与责任,它们在享用其它用户提供的网络资源与服务的同时也在主动地为其它资源提供资源数据及服务。形成一种“我为人人,人人为我”的共享局势,节点间可以直接交互而非依赖于传统的中央服务器,增强了网络的灵活性,同时弱化了服务器的主导控制权,使传统集中式网络模式中普遍存在的系统瓶颈问题得到了极大的缓解。如今,包括资源共享、协同工作、分布式计算、实时通信及深度搜索等多个应用领域都能见到P2P技术的存在。它以其高性价比、自组织、健壮性、可扩展强且能够较好的保护隐私等优点而成为构建大规模网络应用的首选网络计算模式。然而,面对分布式的网络环境,网络结构的高度动态性,如何快速、准确的搜索与定位资源给基于P2P的网络资源共享带来了巨大的挑战,也是当前P2P网络研究中所面临的难题。本文概括介绍了P2P的概念特点及相对传统网络模式的优势,然后针对现有的各种P2P网络模型及其各种模型下的资源搜索算法及基本原理进行了详细的分析,对P2P网络中的数据传输的NAT穿透等关键问题进行了深入研究,在此基础上给出了一种混合式的P2P网络资源共享系统的构建方案。通过多种P2P模型相结合实现资源的有效组织以增加系统的稳定性及可扩展性;通过基于元数据的关键字匹配及副本机制与纠删码相结合的数据冗余策略以确保资源的可用性及搜索效率,同时给出了UDP协议下的NAT穿透解决方案。最后对系统关键模块进行了详细的分析与设计并对未来的研究工作进行了展望。

刘艳华[10]2008年在《基于热点节点搜索方法的P2P流媒体平台的研究与设计》文中研究表明随着Internet的快速发展,流媒体成为了当前最具发展前景的网络应用之一。它应用于互联网信息服务的方方面面,然而传统的分布多媒体系统客户/服务器模式已不能满足它的需求。P2P称为对等网络,网络中的参与者既是服务和内容的提供者,又是资源获取者。P2P模式将服务由中心推向了边缘,充分利用了网络边缘的主机资源,并且此模式可以在大规模的网络中有效地提高系统的可扩展性。因此,将P2P技术与流媒体技术结合的研究也逐步引起人们重视。P2P技术中的搜索技术是当前研究的重点之一,本文通过对P2P网络中拓扑结构以及搜索算法的研究,利用计算机局部性原理这一特性,提出了以集中式目录管理和源节点为中心服务,本地节点建立缓存文档存放热点节点信息的热点节点搜索方法。集中式的目录管理对网络中的节点进行了高效的组织与监控,它能以最快的方法为请求节点提供最合适的服务节点,在本地建立缓存表进一步加快了请求资源的搜索速度,减少了对集中式目录服务器查询的依赖性,减轻了网络负载。最后将热点节点搜索方法运用到流媒体平台中,设计出一个基于热点节点搜索方法的P2P流媒体平台体系,并对整个系统中的关键模块做了具体研究与设计。

参考文献:

[1]. 基于P2P的资源搜索方法研究[D]. 王国英. 广西大学. 2004

[2]. 网格环境中基于P2P的资源共享研究[D]. 孙华志. 北京科技大学. 2008

[3]. 基于P2P的资源搜索方法研究[J]. 王国英, 苏德富. 微机发展. 2004

[4]. 基于历史记录与语义相似度的P2P搜索算法模型及实现[D]. 张丽英. 云南师范大学. 2007

[5]. 基于P2P的分布式搜索技术研究[D]. 戴玉干. 西安电子科技大学. 2007

[6]. 基于P2P的内容分发网络的系统结构资源搜索与路由算法研究[D]. 朱涛. 电子科技大学. 2008

[7]. 基于P2P的媒体点播系统的设计与实现[D]. 方群. 东南大学. 2005

[8]. P2P中资源搜索算法研究及其在远程教育系统中的应用[D]. 陈林书. 中南大学. 2007

[9]. 一种混合式P2P网络资源共享系统设计与实现[D]. 魏静. 电子科技大学. 2010

[10]. 基于热点节点搜索方法的P2P流媒体平台的研究与设计[D]. 刘艳华. 河南理工大学. 2008

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

基于P2P的资源搜索方法研究
下载Doc文档

猜你喜欢