首页> 正文

云计算环境下空间大数据存储索引机制研究

2020-12-10阅读(213)

云计算环境下空间大数据存储索引机制研究

论文摘要

大数据时代的到来,使得空间数据正在以前所未有的速度增长,并呈现出多源、多尺度、多时相、全球覆盖和高分辨率特征,GIS在生活中的广泛应用,用户数量变得越来越庞大,空间实时检索与获取在不断增多,而空间数据作为GIS的“血液”,如何对其进行合理的存储管理才能满足GIS用户的需求值得进一步探索。云计算的发展使得Hadoop和MapReduce在处理空间大数据的并行存取与处理等问题上得到了充分的应用,特别适用于空间大数据的并行存取与处理,因此,针对空间数据数据量大、存在拓扑与语义关系、更新频繁等特点,需要利用Hadoop平台,对空间大数据设计一种合理的空间数据结构进行存储,并构建高效的索引。本文利用云计算平台Hadoop、分布式数据库HBase、分布式计算模型MapReduce研究空间大数据的存储索引机制,并以OSM空间数据为例,完成了以下3个方面的研究:（1）分析OSM空间数据的结构和特点,针对空间大数据在云计算环境下的管理需求,设计空间数据存储模型和增量数据组织方式。同时为保证地理要素几何完整性以及拓扑关系完整性,将HDFS现有的副本放置策略进行改进并研究适合空间数据的数据副本放置策略。（2）对于空间大数据,为解决其空间分布不均、保证空间数据的相邻性等问题,经对比分析常见的空间数据划分策略后,提出基于STR树的空间数据划分策略,同时为了提高空间数据的索引效率和分析性能,利用MapReduce技术进行并行划分。（3）分析传统空间索引机制的优缺点,对划分好的空间数据,根据地理实体要素的分布排序以自下而上的方式利用R-树进行局部索引的构建,然后再根据STR树构建全局索引,将局部索引与全局索引的信息分别存储在DataNode和NameNode上,以此来提高空间数据检索效率。最后,部署Hadoop分布式环境,以OSM数据为例进行测试分析,对比在数据量及集群节点个数不同的情况下空间数据的存储和查询性能,验证了分布式环境下空间数据的存储和索引都具有良好的性能,能够满足空间数据存储和检索的需求。

论文目录

  • 摘要
  • Abstract
  • 第一章 绪论
  •   1.1 选题依据
  •     1.1.1 选题背景
  •     1.1.2 选题意义
  •   1.2 国内外研究现状
  •     1.2.1 云计算研究现状
  •     1.2.2 空间数据存储研究现状
  •     1.2.3 空间数据索引研究现状
  •     1.2.4 结论
  •   1.3 论文研究目标和研究内容
  •     1.3.1 论文研究目标
  •     1.3.2 论文研究内容
  •   1.4 研究方法和论文组织结构
  •     1.4.1 研究方法
  •     1.4.2 论文组织结构
  • 第二章 分布式计算平台Hadoop介绍
  •   2.1 Hadoop简介
  •   2.2 分布式文件系统HDFS
  •     2.2.1 HDFS简介
  •     2.2.2 HDFS的体系结构
  •     2.2.3 HDFS的数据读写
  •   2.3 MapReduce并行处理框架
  •     2.3.1 MapReduce概述
  •     2.3.2 MapReduce的集群行为
  •   2.4 HBase体系结构与数据模型
  •     2.4.1 HBase体系结构
  •     2.4.2 HBase数据模型
  •   2.5 协调服务ZooKeeper
  • 第三章 Hadoop云平台下的空间数据的存储方案设计
  •   3.1 实验数据介绍
  •     3.1.1 实验数据来源
  •     3.1.2 OSM空间数据结构
  •     3.1.3 OSM空间数据的特点
  •   3.2 云环境下空间数据组织的需求
  •   3.3 空间数据存储模型设计
  •     3.3.1 基于HBase的空间数据存储模型设计
  •     3.3.2 增量数据组织方式
  •   3.4 空间数据副本放置策略
  •     3.4.1 HDFS数据副本放置策略简介
  •     3.4.2 空间数据副本放置策略设计
  • 第四章 Hadoop云平台下的空间数据的索引机制研究
  •   4.1 空间数据并行划分策略介绍
  •     4.1.1 空间数据划分策略介绍
  •     4.1.2 空间数据并行划分策略介绍
  •   4.2 空间索引机制介绍
  •     4.1.1 四叉树索引
  •     4.1.2 R-Tree索引
  •   4.3 空间数据并行空间索引设计
  •     4.3.1 局部索引构建
  •     4.3.2 局部索引存储
  •     4.3.3 全局索引构建
  • 第五章 实验结果与分析
  •   5.1 Hadoop分布式环境部署
  •     5.1.1 实验软硬件介绍
  •     5.1.2 Hadoop集群部署
  •   5.2 实验结果及分析
  •     5.2.1 空间数据并行存储性能测试
  •     5.2.2 空间数据并行查询性能测试
  • 第六章 总结与展望
  •   6.1 总结
  •   6.2 展望
  • 参考文献
  • 致谢

    • 文章来源

    类型: 硕士论文

    作者: 李雪丽

    导师: 兰小机

    关键词: 云计算,空间数据,数据存储,空间索引

    来源: 江西理工大学

    年度: 2019

    分类: 基础科学,信息科技

    专业: 自然地理学和测绘学,计算机软件及计算机应用

    单位: 江西理工大学

    基金: 国家自然科学基金项目“云计算环境下大 GML 空间数据并行存取与处理关键问题”(编号:41561085)

    分类号: P208

    总页数: 69

    文件大小: 4767K

    下载量: 187

    相关论文文献

    • [1].面向灾害预警的空间数据概念增强[J]. 自然灾害学报 2020(05)
    • [2].空间数据系统及其标准化工作[J]. 中国航天 2020(09)
    • [3].空间数据系统及其参考体系架构[J]. 中国航天 2020(09)
    • [4].空间数据的挖掘技术及其应用研究[J]. 工程技术研究 2018(06)
    • [5].构建面向个性化服务的特大城市云空间数据中心[J]. 测绘通报 2017(02)
    • [6].分布式空间数据服务两级检索方法研究[J]. 地理与地理信息科学 2017(02)
    • [7].环球速览[J]. 卫星与网络 2017(04)
    • [8].中国GIS教育发展道路上的屏障[J]. 科教导刊(中旬刊) 2017(09)
    • [9].空间数据溯源的概念、模型与服务[J]. 地理与地理信息科学 2015(06)
    • [10].WebGIS中空间数据的可视化[J]. 城市地理 2016(20)
    • [11].基于多源农地空间数据的“两区”划定应用研究[J]. 智慧农业 2019(03)
    • [12].试析空间数据产品质量及其控制与评价[J]. 地理信息世界 2019(04)
    • [13].大数据下的空间数据挖掘分析[J]. 计算机产品与流通 2017(07)
    • [14].空间数据2.0的时代 可能是空间数据的流化[J]. 卫星与网络 2017(11)
    • [15].空间数据质量不确定语言评价研究[J]. 河南理工大学学报(自然科学版) 2016(03)
    • [16].空间数据不确定性研究进展[J]. 河南理工大学学报(自然科学版) 2016(06)
    • [17].规则驱动的空间数据质检模块设计及实现[J]. 城市勘测 2015(02)
    • [18].一种空间数据服务虚拟化描述方法[J]. 计算机应用研究 2013(11)
    • [19].面向数据成果更新的空间数据制图研究[J]. 科技资讯 2014(03)
    • [20].空间数据质量的模糊综合评价方法探讨[J]. 现代测绘 2011(03)
    • [21].英拟使用卫星支持核场区退役治理[J]. 国外核新闻 2019(12)
    • [22].融入空间数据的地图制图新途径探讨[J]. 数字技术与应用 2015(10)
    • [23].空间数据库管理系统的概念与发展趋势[J]. 产业科技创新 2019(19)
    • [24].国外空间数据的语义差异及转换方法研究[J]. 测绘科学 2014(07)
    • [25].空间数据相似性研究的若干基本问题[J]. 测绘科学技术学报 2013(05)
    • [26].空间数据系统的一种安全解决方案[J]. 载人航天 2012(02)
    • [27].空间数据在内业制图中的应用思路研究[J]. 科技资讯 2010(32)
    • [28].基于邻近域的不完备空间数据探测方法[J]. 计算机工程与应用 2009(03)
    • [29].城市基础地理信息系统数据更新研究[J]. 科技创新导报 2008(12)
    • [30].空间数据尺度转换问题研究[J]. 测绘与空间地理信息 2008(05)

    标签：;  ;  ;  ;  

    云计算环境下空间大数据存储索引机制研究
    下载Doc文档

    猜你喜欢

    © 2024 毕论降 版权所有 鄂ICP备12018319号-6