嵌入式主动实时数据库的内存数据存储管理

嵌入式主动实时数据库的内存数据存储管理

何君辉[1]2004年在《嵌入式主动实时数据库的内存数据存储管理》文中研究表明嵌入式环境要求内存分配快速、可靠、高效,而现有操作系统的内存分配因相对复杂而不太适用。RTDBS的高性能要求以内存数据库(MMDB)做底层支持,外存的I/O已不再是系统“瓶颈”,CPU和内存空间的高效使用成为系统的算法设计目标。传统磁盘数据库的索引结构不能同时满足较高存取性能和内存有效利用率。针对上述问题设计具有现代应用特征的内存数据存储管理(MMDSM)模式,是嵌入式主动实时数据库系统研究的基础。以自行研制的嵌入式主动实时数据库系统(ARTs-EDB)为基础,比较深入地研究了反映内存快速存取特性的MMDSM的设计与实现。针对ARTs-EDB的特点,从MMDSM的特点及主要功能出发,介绍了内存数据存储管理的系统体系结构,它给出了主要模块以及与其它子系统的接口。借鉴操作系统的内存管理机制,提出了一种具有现代应用特征的数据库系统内存管理模式。从ARTs-DB的系统内存管理定义出发,探讨了主动实时数据库系统内存管理的目标及实现策略,并详细介绍了一种实现方法。打破传统磁盘数据库系统的设计观念,考虑内存的直接快速存取的特点,在原有区—段式结构的基础上提出了新的物理组织模式及其数据存储结构。详细介绍了MMDB的数据存取操作以及内外存的数据交换实现。重点分析了平衡二叉树(AVL树)和SB-树(Sequential Binary tree)的结构及特点,给出了SB-树实现方法及具体的维护操作算法。最后,在SB-树的基础上提出了一种内存多维索引方法。

吴家盛[2]2010年在《支持无线传感器网络的实时数据库存储管理》文中研究说明无线传感器网络(Wireless Sensor Networks,WSN)是当前世界上备受关注的、涉及多个学科交叉、知识高度集成的前沿热点研究领域。在无线传感器网络中分布着大量的无线传感器,每一个传感器均会源源不断的产生大量流式数据,并且这些流式数据具有实时性。无线传感器由于受限于自身的存储和计算资源,难以处理产生的实时数据流。因此设计支持无线传感器的实时数据库系统,实现对无线传感器网络产生的实时数据流进行数据汇聚、查询、分析和数据挖掘具有重大意义。针对源自无线传感器网络的实时数据流,数据量大,流速快的特点,设计实时数据库存储服务模块。以嵌入式实时数据库ARTs-EDB为原型分析,改进其内存管理模块,适应处理实时数据流的新要求。使用新的系统区存储管理结构,采用双链表结构管理空闲块和占用块,提高空间利用率和服务响应效率。改变用户工作区和活动日志区的页表控制机制,使用HASH索引技术,提高查找表项效率;建立两区数据可交错存放机制,提高两区空间的利用率。实时数据流是通过传感器感知现实世界的感知信息,其数据带有时间属性,数据值在一定时间内有效。数据流通过实时数据库的前端服务模块WRAPPER解析成为带有时间属性的时态数据存入实时数据库中。为时态数据定义了时间不变量、时态数据和时间属性叁种类型数据。设计内存数据库和外存数据库存储结构,对时态数据进行存储。研究时态查询,并为时态查询做了基本分类。应用AP树索引的改进AP+树索引结构来索引存入实时数据库中的时态数据,以提高时态查询效率。给出AP+树的定义,构造方法以及基本操作算法。

王维涛[3]2011年在《嵌入式实时数据库关键性技术研究与实现》文中认为随着嵌入式设备在通信、电子、航空航天、工业自动化控制、金融、医疗等领域的不断普及,嵌入式应用环境下的数据量也随之不断增大,为嵌入式系统提供数据管理显得尤为重要。与传统数据库不同,嵌入式数据库是主要针对嵌入式领域的数据管理技术。目前,嵌入式实时数据库已成为数据库研究领域的一个热点。对于满足嵌入式环境下海量数据的实时处理需求具有重要意义。本文首先给出了项目课题组自主研发的嵌入式实时数据库TY_ERTDB的总体设计和层次结构,然后介绍了在嵌入式实时系统VxWorks上平台层的设计实现。将数据库的事务调度策略和系统任务结合,利用VxWorks的实时性,有效增强了并发控制访问中数据处理的实时性。流媒体数据作为二进制流数据格式在海量数据中广泛存在,嵌入式数据库对BLOB非结构化数据支持成为关键性技术,本文设计实现了基于页管理器的BLOB数据管理器,能高效的处理二进制大对象数据。并基于此对Shapefile格式的电子海图存储进行研究,实现其在TY_ERTDB中的存储方法,使嵌入式实时数据库能够存储和处理海图等地理信息数据。使得空间数据导入嵌入式数据库管理更有意义。最后,通过对TY_ERTDB在VxWorks上进行各项功能测试,结果表面TY_ERTDB的各项技术指标均达到高水平,很好的解决了海量数据的实时处理需求。

吕岭[4]2009年在《嵌入式数据库存储管理软件模型研究》文中认为本文以嵌入式数据库(EDB)的研究开发为背景,研究EDB存储管理软件模型。借鉴层次体系结构的设计思想,对EDB和存储管理器进行功能划分,提出了EDB和存储管理器的功能层次模型。然后,引入面向对象方法,借助统一建模语言,对存储管理器进行分析和设计。提出一种基于池分配模式的内存数据库(MMDB)组织管理方法,并用设计模式对其进行优化。此外,运用业务流程执行语言(BPEL)描述活动模型,借助ACME语义模板对软件构架进行形式化描述。具体内容如下。首先,借鉴层次体系结构的设计理念,提出了EDB的总体层次结构和存储管理器的功能层次模型,阐述其设计思想。对比传统数据库系统,深入分析存储管理器的系统模型,并探讨了存储管理器的交互机制及其关键技术。其次,重点分析了存储管理器两个重要部件:系统内存管理单元和内存数据库组织单元的结构设计。根据EDB存储管理模型理论,提出系统内存分区结构,阐述其设计思想。建立了系统内存管理单元的领域模型,运用面向对象的模型分析法,分割功能模块,从面向对象建模的专业角度给出系统内存管理单元的用例模型和活动模型。借助BPEL描述活动模型。针对EDB的特点,提出了一种基于池分配模式的内存数据库组织结构和管理方法,阐述了其设计思想。详细分析了内存数据库的物理结构和数据组织,提出了一种文件–页表的数据组织方法。对内存数据库管理进行领域建模。再次,在建立用例模型和活动模型来说明存储管理器相关功能需求的基础上,建立初始类模型、细化类模型、精化类模型来描述对象的结构关系,并使用交互模型和状态模型来描述对象的行为。在具体建模过程中,借助设计模式对初始类模型进行优化,完成精化类模型的设计。最后,从软件构架的角度出发,提出了存储管理器的软件构架,并用ACME对典型构件进行形式化描述。给出了系统典型应用实现。文章中所分析与讨论的各种模型和结论在EDB软件开发中得到了应用,具有一定的理论意义和实用价值。

徐伟华[5]2007年在《基于嵌入式系统的监控组态软件理论模型的研究》文中进行了进一步梳理随着计算机技术的发展,组态软件在控制领域都得到了广泛应用,而且发展迅速。其主要原因在于它能将各种复杂的控制系统,特别是繁重而冗长的编程简单化,使控制技术开发变得简单而高效,大大缩短了产品开发时间。目前,市场上大多数组态软件主要针对通用PC和工业PC,而针对嵌入式操作系统的组态软件却很少。本课题中设计的符合IEC61131-3标准的嵌入式组态控制系统,主要适用于大型机电设备单机系统、实验室环境、智能家居系统等小型嵌入式控制的应用场合。它根据带有操作系统的嵌入式系统的特点,集成了传统小型PLC的强大控制功能,优良的监控功能,实现了控制与监控的无缝结合。按照最新的工业控制标准设计,运用了面向对象的建模技术和面向对象编程语言C++,将图形界面系统和实时数据库系统有机地结合,使此组态软件具有良好的通用性和扩展性,不仅可以实现复杂的工业过程控制,还可以通过扩展功能,使其应用于多种领域。本论文首先分析了基于嵌入式系统的组态控制软件的体系结构,阐述了系统的软硬件平台的基本结构和关键技术的实现。然后重点讨论了实现基于WindowsCE操作系统的控制组态软件的图形界面系统、实时数据库系统、数据交换系统以及运行策略和编译系统,并分别从这四个方面给出了具体实现方案。首先,运用面向对象建模技术和C++语言建立了图形界面系统的对象模型、动态模型和功能模型并给出具体的实现方案。这样建立的用户界面系统不仅具有丰富的绘图功能,能够快速地生成工程界面,而且具有优良的图形对象扩展性能。用户可以利用图形界面系统的绘制功能实现复杂的控制现场画面,并通过图形对象的保存,实现复杂图形的重用,大大减少重复劳动。其次,采用面向对象的数据库技术建立组态软件实时数据库模型和存储方式,解决了应用程序编程语言与数据库查询语言不同而出现的阻抗失配问题,使组态软件生成的应用程序与实时数据库系统能够有机地结合。最后,设计了组态软件系统的I/O模型和控制策略,并给出了脚本编译系统的实现方法。在I/O模型中建立了包括驱动程序、驱动调度程序、驱动程序配置工具、设备配置文件为一体的编译模块,使用户可以将调试成功的应用程序直接下载到目标机运行,而不需要对现有的目标机进行驱动程序编写和重新配置。本论文的工作只是课题组工作的一部分,为更进一步的实现现场总线支持、过程控制监控、复杂控制算法与数学运算、分布式控制和远程监控等高级功能奠定了良好的基础。

蒋智鹏[6]2008年在《内存数据库的存储管理》文中指出随着科学技术的发展,新的应用需求和客观应用条件的成熟使得内存数据库(MMDB)应运而生。内存数据库将数据库的工作版本放在内存中,由于数据库的操作都在内存中进行,从而磁盘I/O不再是内存数据库的瓶颈,内存数据库系统的设计目标是提高数据库的效率和存储空间的利用率。内存数据库存储管理模块作为整个内存数据库的核心,其管理策略的优劣直接关系到内存数据库系统的性能。论文首先介绍了国内外内存数据库的研究现状,深入分析和研究了当前主流内存数据库所采用的存储管理的关键技术,包括内存数据库的存储层次结构,内存数据库存储空间的管理,内存数据库的数据组织结构,内存数据库的数据库存储模型和内存数据库的存储结构。在深入理解和掌握了当前广泛使用的存储管理技术的基础上,给出了cachDB存储管理模块的设计与实现。重点论述了cachDB内存数据库存储空间的管理方案,cachDB在内存池法的基础上进行了改进,给出了一种基于内存页的存储空间管理方案,使得cachDB不但能迅速的发现可用内存,而且也能保证存储空间的高效使用。同时本文提出了索引与记录相结合的紧凑型存储结构,索引与记录结合存储使得简内存数据库的操作得到简化,同时也提高了内存数据库存储空间的利用率。通过测试和分析可知,cachDB内存数据库的存储空间管理方案能够迅速的发现和分配可用存储空间,平均每秒能分配50M左右的存储空间,并且能灵活有效的利用存储空间。同时通过使用索引和记录相结合的存储结构,内存数据库的插入速率较改进前提高了20%~25%,内存数据库的存储空间消耗也较改进前减少,从而内存数据库存储空间的利用率的到了提高。

杨有波[7]2013年在《基于μC/OS-Ⅲ操作系统的SQLite数据库的移植与分析》文中研究说明随着嵌入式技术的不断发展,传统的嵌入式数据处理方式已越来越难满足用户对数据管理需求的日渐提高。而嵌入式实时数据库的出现很好的解决了传统嵌入式系统对数据管理能力不足的缺点。SQLite数据库是一种开源的、简洁的、高效的嵌入式实时内存数据库,它直接运行在应用程序中,作为托管它的程序的一部分,而无需对其进行配置。在软件开发设计时,SQLite数据库特别注重可移植性,现已很好的移植到许多嵌入式平台上,并在嵌入式系统中发挥了重要作用。本文的主要工作如下:首先,在查阅了相关文献的基础之上,针对目前小型嵌入式系统的数据处理主要基于文件方式,存在数据管理能力有限、可移植性差等缺点,分析了嵌入式数据库SQLite的特点,并探讨利用SQLite数据库在小型嵌入式系统中的应用来解决这些不足。另外,鉴于嵌入式操作系统μC/OS-Ⅲ在小型嵌入式系统中的广泛使用,本文同时研究分析了其内核结构。其次,为提高基于μC/OS-Ⅲ平台的软件对数据的处理能力、降低软件开发难度,本文对SQLite数据库在μC/OS-Ⅲ操作系统上的移植技术进行了研究和分析。具体内容包括:按照软件移植理论,通过对数据库的体系结构和源代码的分析,给出了SQLite在μC/OS-Ⅲ上的移植方法;SQLite的操作系统接口由互斥信号量子系统、内存分配子系统、虚拟文件系统子系统叁部分组成,通过对这叁部分的配置或重新编写,成功的将其移植到μC/OS-Ⅲ操作系统上。最后,以SQLite数据库在温室环境监控系统中的应用来检验数据库在多任务环境下的数据存储管理能力,并对移植后的数据库的性能进行了分析,给出了实验结果,验证了所提方法的有效性。

董洁[8]2010年在《嵌入式数据库性能评价与测试技术的研究》文中指出随着武器装备信息技术的快速发展,信息已经成为当前发挥武器装备综合效能的关键因素。而嵌入式实时数据库系统,为各类武器装备提供及时、准确、持续、集成的数据信息服务平台,正在成为信息密集型武器装备的重要选择。嵌入式环境下数据库系统测试的重要性也因此越来越引起人们的关注。研究嵌入式数据库系统评价与测试技术,具有重要意义。本文结合军用软件项目测试实践,从软件测试过程建模、测试过程度量指标体系确立等方面展开研究,提出了一套完整的嵌入式数据库测试方案。本文首先以分析传统的数据库系统中采用的主要技术是否适用于嵌入式数据库为主线,研究为达到系统的实时性、可预测性以及高可靠性,系统的体系结构、数据模型、索引机制、内存管理机制、并发控制机制以及事务恢复机制是如何改进,以此作为嵌入式数据库技术评价的标准。其次,提出了一种适用于嵌入式数据库的改进的软件测试V模型。通过分析嵌入式数据库系统特点对测试的影响,提出适用于嵌入式数据库的测试策略。对传统V模型进行了改进,提出了一种新的软件测试V模型,使测试活动贯穿于软件开发全过程。再次,针对嵌入式数据库的特点和关键技术,提出了一种适用于嵌入式数据库的测试方案。并且,基于GQM方法,采用一种叁层度量模型的概念来建立嵌入式数据库系统评测框架,并基于模糊综合评判技术对嵌入式数据库进行评估。最后,依据测试方案,对自主研发的嵌入式数据库CS_ERTDB实施相应的技术分析、性能评估和测试。

张静[9]2012年在《基于车辆超速检测系统的嵌入式数据库的设计与应用》文中提出随着嵌入式技术的不断发展,嵌入式设备以及嵌入式软件得到了深入的发展和广泛的应用。由于用户对嵌入式数据处理和管理要求的提高,嵌入式数据库系统的研究和应用也得到了很大的发展。嵌入式数据库通常和具体应用集成在一起运行在特定的嵌入式系统上,它满足传统数据库的核心数据管理功能,并兼具了嵌入式设备所特有的嵌入性,移动性和实时性等特性。除了对嵌入式数据库在执行时间上考虑外,还要考虑到嵌入式设备对存储空间的要求。因为嵌入式设备资源有限,存储空间较小,嵌入式系统无法像传统数据库一样,提供一个完整的数据库管理功能来满足大容量的数据库管理,嵌入式数据库开发需要时刻考虑到程序代码、数据管理和系统信息等所占用的存储空间情况。实际应用嵌入式数据库系统开发中,数据库多建立在特定的操作系统之上,通过系统调用来访问设备资源,并选取使用某种图形界面软件实现嵌入式设备的人机交互。论文首先介绍了嵌入式数据库的研究状况和发展前景,以及车辆超速检测系统相关的系统模块和算法。研究论述了具有实时性的内存数据库,以及数据库底层的操作系统和图形界面软件的研究和移植等内容。详细介绍了针对操作系统内存管理不足而设计的内存管理算法,最后论述了和如何在较小的存储空间上实现对数据的存储管理,并提出了一个基于SQLite的嵌入式内存数据库系统的设计,来实现对车辆超速检测系统违规信息数据的存储和管理。

张胜兰[10]2011年在《内存数据库及其对外接口》文中指出数据库(Database)是按照数据结构进行组织、存储和管理数据的仓库,随着信息技术和市场的发展,数据库理论与技术的发展也是极其迅速的,并且在今天的信息世界中,越来越被广泛的应用。但是传统的磁盘数据库,其主要的工作版本保存在非易失性的存储设备磁盘上,因此磁盘数据库系统在进行数据操作管理时,经常需要对磁盘进行访问,将数据从磁盘读取到内存,然后从内存上对数据进行处理,处理完成后再将内存中的数据写回磁盘。由于磁盘数据库的诸多操作都涉及磁盘的I/O,而磁盘由于其机械设备的特性,磁盘的I/O操作速度较慢,且连续的I/O,顺序对其速度的影响也会很大,因此磁盘数据库的I/O是其性能的瓶颈。当实时存取大量数据时,会造成磁盘数据库系统中CPU和I/O之间的矛盾。于此同时,由于移动通讯技术的发展,移动通信需要提供越来越多类型的数据服务,随着3G时代的到来,电信行业已经成为了数据密集型行业,用户数据的不断更新,对于交换机系统的实时性要求越来越高,这就需要大幅度提高数据交流的速度。而传统的硬盘数据库由于其I/O等种种瓶颈,无法再满足速度上的需求。为了达到数据能够快速大量的存储的要求,内存数据库(MMDB)随之产生内存数据库将工作版本放到内存中,由于数据库中的读、取操作都是在内存中进行,并且在内存中实现对数据的管理,内存中的数据读写速度要比磁盘高出几个数量级,将数据保存在内存中相比从磁盘上访问数据,在大量存取实时数据时,不但解决了数据库中CPU和磁盘I/O之间的主要矛盾,更能够提高应用性能。本文结合移动通讯网络管理系统,深入剖析了内存数据库对外部的数据采集以及对内部数据的存储和管理,研究了内存数据库通讯接口的实现,以及内存数据库内部的理论知识和关键技术,包括内存数据库的存储管理,内存数据库的索引,事物处理,内存数据库的碎片处理以及数据缓存等。由于内存数据库存储大量从各网元系统采集的数据,因此需要与各种网元系统进行连接,这就需要内存数据库提供对外接口,用以采集汇总各种网元数据。由于移动网络的庞大,网元设备繁多,因此提供的接口也各有不同,总结下来,大约分为以下叁种接口:Telnet接口,Socket接口和Corba规范接口,因此要分别于这些接口进行通讯,采集数据。本文内存数据库的对外接口部分,分别设计了这叁种接口的实现方法。根据系统设计的要求,该内存数据库提供以下功能:外部通信接口,线程管理功能,消息队列管理,数据定义(表、索引、队列等),数据操作(数据的插入、删除、修改、查询)。本文设计实现的内存数据库管理系统满足了电信网管系统中需要的”实时、稳定、灵活”的实际要求。

参考文献:

[1]. 嵌入式主动实时数据库的内存数据存储管理[D]. 何君辉. 华中科技大学. 2004

[2]. 支持无线传感器网络的实时数据库存储管理[D]. 吴家盛. 华中科技大学. 2010

[3]. 嵌入式实时数据库关键性技术研究与实现[D]. 王维涛. 西安电子科技大学. 2011

[4]. 嵌入式数据库存储管理软件模型研究[D]. 吕岭. 南京航空航天大学. 2009

[5]. 基于嵌入式系统的监控组态软件理论模型的研究[D]. 徐伟华. 电子科技大学. 2007

[6]. 内存数据库的存储管理[D]. 蒋智鹏. 华中科技大学. 2008

[7]. 基于μC/OS-Ⅲ操作系统的SQLite数据库的移植与分析[D]. 杨有波. 河北工业大学. 2013

[8]. 嵌入式数据库性能评价与测试技术的研究[D]. 董洁. 南京航空航天大学. 2010

[9]. 基于车辆超速检测系统的嵌入式数据库的设计与应用[D]. 张静. 河北工业大学. 2012

[10]. 内存数据库及其对外接口[D]. 张胜兰. 山东大学. 2011

标签:;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  ;  

嵌入式主动实时数据库的内存数据存储管理
下载Doc文档

猜你喜欢