导读:本文包含了数据流管理论文开题报告文献综述、选题提纲参考文献及外文文献翻译，主要关键词:数据流,管理系统,数据,多核,算法,流管,事件。
数据流管理论文文献综述
张华庆[1]（2016）在《多核平台下Esper数据流管理系统的性能分析研究》一文中研究指出随着计算机及其相关技术的发展,尤其是网络的发展,传统数据库处理永久数据的模式已经不能适应现在大量的实时在线应用的需求。在很多应用领域中出现了一种新的数据模式——流式数据。与传统数据相比,数据流具有有实时性、连续性、数据量庞大等特点。复杂事件处理引擎可以从数据流中检测出匹配的数据序列,在流数据处理和实时响应方面非常出色,近些年得到了越来越广泛的应用。Esper是复杂事件处理引擎中非常出色的一款。Esper事件处理系统可用于复杂事件处理和数据分析,适合用于处理大量历史的或是实时的消息和事件流。由于近些年多核处理器已经成为主流,应用已经非常普遍,因此在多核处理器上研究Esper的性能情况非常有必要。本文着重分析了多核计算平台下,基于Esper引擎所构建的数据流处理系统的性能表现。首先介绍了基于Esper引擎的实验平台的设计与实现,并对该实验平台的基本结构和关键模块的构建进行了详细阐述。然后设计了完整的查询语句和测试用例,并使用该实验平台对多核平台下Esper引擎的性能进行了测试。实验中主要将查询语句分成四大类:简单查询、聚合查询、连接查询、模式匹配查询,并对查询语句的命名规则和参数设置进行详细阐述。实验中采用了线程池技术,本文主要从线程池工作模型、处理流程、排队策略以及如何实现线程池的设计做了详细描述。实验通过实时监控和离线数据分析两种方法展示了系统的各项性能指标。最后对实验中得到的原始数据进行统计分析并得出了实验结论。实验结论表明Esper数据流系统对多核平台并不能提供良好的支持,原因是Esper引擎内部的一些设计缺陷造成的,同时指出了后续待研究的一些问题。实验结果中还得到了很多对构建Esper数据流管理系统非常有用的结论,包括不同事件数、不同类型查询、线程池不同数目队列对系统造成的各种影响情况等。这些可以帮助开发者更好地了解Esper引擎在多核平台下的优势和劣势,以便于开发基于开源Esper引擎的更加有效的流处理系统。(本文来源于《东华大学》期刊2016-06-30）
蒋科材,屈利忠,赵齐乐[2]（2016）在《实时GNSS数据流管理平台的实现及应用》一文中研究指出随着互联网技术的发展,利用互联网将观测站的实时GNSS数据高速传输给数据处理中心,可以打破GNSS数据事后处理的传统模式,从而实现GNSS数据的实时处理。对于数据处理中心而言,具备实时GNSS数据流管理功能的软件平台就显得尤为重要。本文主要对自主实现的实时GNSS数据流管理平台软件的实现及应用进行了介绍。该软件采用C/S框架设计,实现后端服务与前端用户界面相分离的效果,可通过网络与观测站建立连接来获取实时GNSS数据流,支持TCP/IP通信协议及NTRIP通信协议,支持解码RTCM3.X、BINEX等多种数据传输格式,能够汇聚分布在各地的观测站的GNSS数据,为后续的数据实时处理工作提供数据支撑,并在我国所发起的国际GNSS监测评估系统建设中得到应用。(本文来源于《测绘通报》期刊2016年04期）
刘燕松[3]（2014）在《星间链路载荷1553B总线数据流管理与实现技术研究》一文中研究指出摘要：星间链路(Inter-Satellite link, ISL)作为卫星导航系统实现系统功能和提升性能的重要手段,也是确保导航系统在战时可用的战略性需要。为了实现星间链路的功能,需要一个有效且稳定的星载数据流管理系统来管理星载设备间的数据传输和信息交换。数据总线作为星载设备之间的数据传输纽带,是系统功能实现的关键。1553B总线作是美国军方提出的一种数据传输协议,具有通信速率高、稳定性高和实时性好等特点,广泛应用于航空电子领域,适合作为本系统的数据传输总线。研究基于1553B总线的载荷数据流管理系统对于星间链路的功能实现具有重大的战略意义。本文重点研究了基于1553B总线的星载数据流管理系统的设计与实现。首先给出了系统的总体结构及功能,介绍了1553B总线的功能、消息结构及数据传输方式,并详细地设计了本系统中数据传输的消息格式。为了实现系统的功能,本文采用嵌入式开发板+BU61585架构作为星载数据管理系统功能实现的硬件平台,软件平台采用VxWorks嵌入式操作系统。然后详细地描述了系统中远程终端通信模块、总线控制端通信模块、本地信息处理及时间同步模块的工作流程,对各模块进行了软件设计,并使用1553B仿真板卡对各个子地址的收发功能进行了功能性的验证。最后,利用载荷地面测试系统、星载计算机模拟源与数据流管理系统进行联合测试。测试结果表明,本文设计的载荷数据流管理系统在正常工作状态下,能够实现对载荷总线数据流的管理,满足系统的功能要求,且具有较高的可靠性,达到了课题的预期目标。图32幅,表28个,参考文献61篇。(本文来源于《中南大学》期刊2014-05-01）
张晶[4]（2014）在《基于数据流管理系统的数据挖掘技术研究》一文中研究指出近年，一种新的高速、持续、无限、实时性的新型数据产生于许多应用中，即数据流。虽然，新型的数据流管理系统（Data Stream Management System,DSMS）能够几乎实时地处理数据流并得到概要结果；针对数据流的数据挖掘算法也能较好地处理数据流，具有较好的抗干扰能力，能实时响应用户需求以及能建立通用的概要数据结构等。然而，无论是只使用DSMS还是只使用数据流挖掘技术对数据流数据进行处理，功能方面都不够完善，没有将二者处理数据流的优点相结合。因此在数据流管理系统中实现数据流挖掘算法，使DSMS具有数据挖掘功能，更便于用户使用。本研究将从两个方面介绍数据流管理系统和数据挖掘技术相结合的基本方法与实验结果：（1）在Esper系统中实现数据流聚类。对Clustream算法在线处理算法——Micro-Cluster算法进行修改，用EPL语言实现算法的描述及调用，使该系统具有对数据流进行聚类分析与处理的功能。经过对1维，5维，10维，100维实验数据集进行测试，测试结果证明在测试数据一致的情况下，当数据量与维度均比较小时，集成在Esper中的算法效率比较低，而当数据量和维度逐渐增大时，集成在Esper中的算法比直接应用算法的效率明显提高，例如当数据量达到105时，维度达到100维时，集成在Esper系统中的算法效率比直接应用算法的效率提高了6.7%。（2）在Esper系统中实现数据流关联规则。采用estDec方法进行频繁项集挖掘，再基于滑动窗口生成数据流的关联规则。用EPL语言在Esper中实现该算法描述及调用，使系统实现数据流关联规则功能。实验对数据量从103到105的一维数值型数据集、一维文本型数据集和一维常用数据集分别进行测试，实验结果证明，在数据集一致的情况下，处理同一维度的数据时，在Esper系统中集成的算法得到的关联规则和直接应用算法得到的关联规则基本一致，证明了该算法在Esper系统中应用的可行性。(本文来源于《西北农林科技大学》期刊2014-05-01）
金杰,王洪亚,曹娇,王梅[5]（2012）在《Conger数据流管理系统:当CQL遇见奥罗拉》一文中研究指出随着新型网络应用的不断出现,流形态数据已经成为数据管理领域研究的新热点.与传统数据相比,数据流具有时变、高到达速率和大数据量等特点.在CPU和存储资源有限的约束条件下,需要对数据流管理系统的体系结构进行全新的设计和实现.目前比较完整的数据流管理原型系统有Aurora,Borealis和STREAM.其中前两个系统由布兰代斯大学、布朗大学和麻省理工学院合作开发,而STREAM则是由斯坦福大学单独完成的.Aurora系统提供了完整的数据流处理功能,但只支持基于操作符图的查询表达;STREAM在SQL的基础上定义了语义明确的数据流查询语言CQL,但并没有完整的系统实现.为此,我们基于Aurora开发了支持CQL的数据流管理系统Conger.系统演示包括CQL示例查询的注册、解析和执行等.(本文来源于《第29届中国数据库学术会议论文集（B辑）（NDBC2012）》期刊2012-10-12）
李军[6]（2012）在《基于用户行为挖掘的数据流管理技术研究》一文中研究指出日益增长的网络安全威胁促使各种安全防御机制应运而生,这些安全机制大都需要分析网络数据流,以发现违规行为和有害信息。当前的数据流安全管理主要基于关键字分析,未全面考虑关键字所在的网络上下文环境信息,比如关键字所在网页的内容语义和浏览该页面的网络用户类别信息。为此,本文从影响数据流安全管理的用户行为、内容分析和管理调度叁个方面开展研究,主要贡献为：1.在用户维度,提出一种用户行为预测模型,该模型使得数据流安全管理系统可以针对用户类别实行差别化管理。具体来说,该模型通过收集网络用户的网页点击行为数据和搜索行为数据,构造一个关联用户行为和用户类别的预测模型。对比于以往的用户行为分析方法,该模型有以下创新：(i)构建全而的行为类别体系和行为特征空间,借鉴概率潜在语义分析思想,提出了一种用户潜在行为倾向发现方法来挖掘“用户-行为”共现中的倾向语义；(ii)该模型结合安全管理的应用背景,发现倾向的描述能力较弱,设计了一种“倾向-类别”映射关系学习算法,同时对该学习算法的信息转换等价性进行了理论分析；(iii)针对预测结果,设计了相应的度量指标和评估办法,实验证明：在不对用户标注的情况下,该模型可准确预测用户的行为类别。2.在流内容维度,提出了多分类器快速内容判别模型。对每一个高速到来的元组,联合多个分类器对其进行综合判别。虽然该方法提高了判别的精度和稳定性,但是判别的速度会严重下降。为此,考虑利用多分类器之间的共享部分来提高判断的速度。具体来说,设计了两种集成模型索引结构(E-Tree和SVM-Index),理论上证明了这两种结构可以达到亚线性(O(logN)和O(1))判别速度。进一步地,在UCI公开数据集上的实验结果验证了预测开销平均可以降至原来的25%和3%左右。3.在整体调度上,提出利用数据挖掘和机器学习的方法来构建自适应的过滤器排序模型。一方面,针对较稳定的数据流环境,基于K-means思想,提出了一种层次化聚类排序模型KHO,来提升过滤器排序算法的鲁棒性；另一方面,针对非平稳数据流环境,基于指数平滑和层次决策的思想,提出了一种自适应的平滑排序模型AHES。以上方法解决了当前数据流过滤器排序算法无法随着数据流上下文环境自适应调节的问题。最后,大量实验结果证明：提出的模型能够表现出较好的性能和环境感知能力。4.基于上述关键技术的研究探索,设计并实现了一个用户行为数据安全管理引擎IceStream,并详细介绍了核心模块的主要功能和设计思路。(本文来源于《北京邮电大学》期刊2012-06-30）
田杰[7]（2012）在《通用数据流管理原型系统TTSTREAM的设计与关键算法研究》一文中研究指出近年来，互联网技术飞速的发展，一些实时的、无限的、连续的、有序的数据应用范围越来越广，这种形式的数据被称之为数据流，它应用于传感器数据分析、互联网流量监控、金融行情分析、在线拍卖、Web应用、电话记录等方面，传统的数据库管理系统无法对数据流进行管理，因此产生了数据流管理系统。TTSTREAM系统在斯坦福大学的通用数据流管理原型系统STREAM的模型基础之上进行设计，主要对TTSTREAM的设计和实现进行了一定的研究，所做的工作概括如下：作为一个通用数据流管理系统，TTSTREAM系统的各个模块都以COM组件的形式进行设计，增加了其通用性；讨论了TTSTREAM的总体设计，对客户端与查询库、执行系统、输出叁大模块进行了详细的设计和介绍，给出了客户端与执行系统之间的通信方式；连续查询是数据流管理系统的基础，TTSTREAM系统实现了该功能，并对连续查询所涉及的选择操作符、并操作符、投影操作符和连接操作符进行了详细的设计，同时给出了详细的实现算法，对操作符之间的状态转换进行了设计与实现，详细阐述了查询处理中所涉及的逻辑查询计划和物理查询计划；基于随机抽样的方法构建了TTSTREAM系统的概要数据结构；通用的数据流管理系统是没有办法对历史数据进行处理的，它没有涉及到历史数据的处理，TTSTREAM系统给出了历史数据存储模块，介绍了历史数据存储模块中各个子模块的功能，并设计了历史数据存储的实现算法。(本文来源于《华中科技大学》期刊2012-01-10）
刁静[8]（2011）在《基于数据流管理的全时域网络数据监控技术研究》一文中研究指出随着网络带宽的急剧攀升和网络应用的全方位发展,传统离线或在线方式的网络流量检测与分析系统功能与当前网络数据监控中高速网络数据处理、多样化网络异常检测、历史敏感信息举证、时间相关性数据探测等应用需求有一定差距。本文以数据流管理技术为基础,对网络数据监控中的数据处理问题进行了深入研究。本文主要研究内容和工作包含以下几点:1、分析了数据流管理技术的新特点,对当前典型的数据流管理系统和它们实现中的关键技术进行了研究和比较,为课题的研究和创新奠定了基础。2、从网络数据监控应用中的时间相关性数据检测和历史敏感信息举证等需求出发,设计了全时域数据流管理系统架构。通过对连续查询语言在基于时间的循环滑动窗口上的扩展,给出了该架构下的叁种查询计划执行策略。3、对系统的性能进行优化,给出了基于反馈控制理论和数据流语义的自适应负载脱落机制,针对选择算子的条件过滤器组的自适应调度策略等性能优化方法,并给出了全时域数据流管理系统架构中基于降载和分层次思想的优化策略。4、将设计的系统架构和性能优化策略应用于网络数据监控系统,从系统功能架构、硬件环境、实现过程等方面给出了系统的运行执行过程。实验结果验证了全时域系统架构、负载脱落机制、自适应调度策略等设计的有效性。(本文来源于《解放军信息工程大学》期刊2011-04-10）
刘畅[9]（2010）在《基于概要的数据流管理系统的研究与实现》一文中研究指出深海平台监测系统还有Internet上的流量监控等许多实际应用领域都需要对流数据进行处理和分析。流数据以流的形式到达,是连续、无界和随时间变化的。传统的数据库处理技术不支持流数据的查询与管理,通用的数据流管理系统能够处理随时间变化的连续数据、生成概要数据和支持连续查询,但是,它们仅仅完成了原型系统,还没有形成统一的标准,不能应用到实际的商业系统中。本课题基于深海平台监测系统,研究传感器网络环境下的流数据处理技术,包括概要数据生成技术和流数据的管理与分析技术。论文重点研究概要数据的生成算法,特别对抽样方法做了详细的归纳,并给出了一种基于时间滑动窗口的自适应加权随机抽样算法：AWRS/BTSW算法。该算法根据流数据变化的快慢程度,动态的对流数据加权,将权值和数据到达时间作为数据项的键值,根据键值大小对流数据进行抽样,解决了现有的抽样算法生成的概要数据与原始数据偏离大小不确定以及数据过期问题。与其他抽样算法相比,该算法在数据变化稳定的情况下,能快速地生成概要数据,当监测到数据变化剧烈时,动态改变抽样方式,抽取的概要数据精确性比较高。论文分析与总结了国内外数据流管理系统的研究现状,根据深海平台监测系统对数据处理的要求,设计与实现了基于概要的数据流管理系统BSDsms,并将AWRS/BTSW算法应用到该数据流管理系统中。扩展了现有的流式查询语言CQL,形成了ECQL查询语言,使得该查询语言不仅能支持流数据的连续查询,而且支持对历史数据的查询。实现的BSDsms数据流管理系统可以为深海平台监测系统提供基本的数据服务。本研究成果既解决了深海平台监测应用中的流数据处理问题,又可以应用于任何传感器网络中的流数据管理,为流数据挖掘和分析提供基本的数据服务平台。(本文来源于《大连理工大学》期刊2010-11-12）
袁磊,张阳,李梅,李雪,王勇[10]（2010）在《在数据流管理系统中实现快速决策树算法(英文)》一文中研究指出在数据流管理系统(data stream management system,DSMS)中嵌入数据挖掘算法对数据库研究者是一项新的挑战,而在数据流管理系统中嵌入快速决策树(very fast decision tree,VFDT),尚未见报道。利用DSMS原有的机制在Esper中实现了VFDT算法。其主要思想是将VFDT算法转换为Esper的数据查询语言(Esper query language,EQL)。给出了在DSMS中实现VFDT算法的两种方法:普通方法。直接将VFDT算法转化为EQL语言并在DSMS中实现(记作DVFDT);改进方法。通过Esper中固有的批量处理模式来实现(记作optimal-DVFDT)。通过一系列实验比较分析了两种方法对海量数据流分类的准确率和性能;将提出的两种方法与用Java实现的VFDT算法(记作JVFDT)在分类精度和时间上进行比较。结果表明,在DSMS中实现的VFDT算法具有较好的性能,并且该算法对大规模数据流数据的子集同样具有较高的性能。(本文来源于《NDBC2010第27届中国数据库学术会议论文集A辑二》期刊2010-10-13）
数据流管理论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
随着互联网技术的发展,利用互联网将观测站的实时GNSS数据高速传输给数据处理中心,可以打破GNSS数据事后处理的传统模式,从而实现GNSS数据的实时处理。对于数据处理中心而言,具备实时GNSS数据流管理功能的软件平台就显得尤为重要。本文主要对自主实现的实时GNSS数据流管理平台软件的实现及应用进行了介绍。该软件采用C/S框架设计,实现后端服务与前端用户界面相分离的效果,可通过网络与观测站建立连接来获取实时GNSS数据流,支持TCP/IP通信协议及NTRIP通信协议,支持解码RTCM3.X、BINEX等多种数据传输格式,能够汇聚分布在各地的观测站的GNSS数据,为后续的数据实时处理工作提供数据支撑,并在我国所发起的国际GNSS监测评估系统建设中得到应用。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
数据流管理论文参考文献
[1].张华庆.多核平台下Esper数据流管理系统的性能分析研究[D].东华大学.2016
[2].蒋科材,屈利忠,赵齐乐.实时GNSS数据流管理平台的实现及应用[J].测绘通报.2016
[3].刘燕松.星间链路载荷1553B总线数据流管理与实现技术研究[D].中南大学.2014
[4].张晶.基于数据流管理系统的数据挖掘技术研究[D].西北农林科技大学.2014
[5].金杰,王洪亚,曹娇,王梅.Conger数据流管理系统:当CQL遇见奥罗拉[C].第29届中国数据库学术会议论文集（B辑）（NDBC2012）.2012
[6].李军.基于用户行为挖掘的数据流管理技术研究[D].北京邮电大学.2012
[7].田杰.通用数据流管理原型系统TTSTREAM的设计与关键算法研究[D].华中科技大学.2012
[8].刁静.基于数据流管理的全时域网络数据监控技术研究[D].解放军信息工程大学.2011
[9].刘畅.基于概要的数据流管理系统的研究与实现[D].大连理工大学.2010
[10].袁磊,张阳,李梅,李雪,王勇.在数据流管理系统中实现快速决策树算法(英文)[C].NDBC2010第27届中国数据库学术会议论文集A辑二.2010
论文知识图
