首页> 正文

基于Spark的降雨量预测方法研究与实现

2020-12-24阅读(911)

基于Spark的降雨量预测方法研究与实现

论文摘要

卫星云图可直观反映各类云系的运动状态,已成为气候及水文预测的重要参考依据。多年来水利行业累积了大量的卫星云图和雨量数据,但通过人工判读的方式效率低,只能定性判断,在决策过程中可信度低。为了解决此问题,本文综合应用Spark大数据技术与图像挖掘技术,通过关联规则分析研究云图与雨量之间的关系,为基于卫星云图的降雨预测提供理论了依据。论文主要研究开发内容如下:（1）构建了云图数据和雨量数据关系模型。基于灰度特征设计了五种与降雨相关的云图特征参数,结合云图特征参数和雨量数据建立多维立方体,并采用聚类技术完成混合数据分区,进而利用关联规则挖掘算法探究云图与雨量之间的关系（2）利用聚类技术实现卫星云图云层分离提取。引入粗聚类Canopy算法对模糊C均值算法进行了改进,研究了Canopy FCM算法。针对局部最优问题,结合最大最小原则,提出了MMCanopy FCM算法。为了支持海量卫星云图的处理,结合Spark编程模型,提出并实现了并行化SP MMCanopy FCM算法。实验结果表明本文方法可有效实现云层分离。（3）基于云图-雨量混合数据集进行关联规则挖掘。结合矩阵特性改进了Apriori算法,提出了基于矩阵压缩的MCApriori算法,克服了其产生过多无用候选项集的缺点,提高了内存利用率。为支持海量云图-雨量数据的关联规则挖掘,基于Spark平台对Apriori算法进行了并行优化,提出SP MC Apriori算法。通过实际的云图-雨量混合数据集实验分析表明,本文方法具有较好的准确性和时效性。（4）应用上述理论与方法,基于Spark大数据平台,设计实现了一个降雨量预测原型系统。

论文目录

  • 摘要
  • Abstract
  • 1 绪论
  •   1.1 研究背景与意义
  •   1.2 卫星云图挖掘技术研究
  •   1.3 卫星云图与降雨关系研究现状
  •   1.4 论文主要工作与结构
  •     1.4.1 论文主要工作
  •     1.4.2 本文结构
  • 2 云图数据与雨量数据的多维关系模型
  •   2.1 卫星云图与降雨关系挖掘框架
  •     2.1.1 雨量数据预处理
  •     2.1.2 卫星云图的参数化处理
  •     2.1.3 卫星云图与雨量数据的时空同步
  •     2.1.4 云图-雨量多维数据结构
  •     2.1.5 云图属性数据分区
  •   2.2 卫星云图的存储和检索
  •     2.2.1 卫星云图的存储
  •     2.2.2 基于内容的卫星云图检索
  •   2.3 本章小结
  • 3 卫星云图的聚类分析方法
  •   3.1 概述
  •   3.2 FCM聚类算法
  •     3.2.1 聚类分析概述
  •     3.2.2 FCM聚类算法
  •   3.3 基于Canopy聚类算法的FCM算法改进
  • FCM聚类算法'>    3.3.1 CanopyFCM聚类算法
  •     3.3.2 基于最大最小准则的MMCanopy算法
  • FCM聚类算法'>    3.3.3 MMCanopyFCM聚类算法
  • FCM算法的并行化'>  3.4 MMCanopyFCM算法的并行化
  • MMCanopyFCM算法要点'>    3.4.1 SPMMCanopyFCM算法要点
  • MMCanopyFCM算法流程'>    3.4.2 SPMMCanopyFCM算法流程
  • MMCanopyFCM算法复杂度分析'>    3.4.3 SPMMCanopyFCM算法复杂度分析
  •   3.5 实验验证与分析
  • FCM算法的卫星云图聚类实验'>    3.5.1 基于MMCanopyFCM算法的卫星云图聚类实验
  • MMCanopyFCM算法的卫星云图聚类实验'>    3.5.2 基于SPMMCanopyFCM算法的卫星云图聚类实验
  •   3.6 本章小结
  • 4 卫星云图与雨量的关联规则挖掘方法
  •   4.1 概述
  • Apriori算法的云图雨量关联规则挖掘方法'>  4.2 基于MCApriori算法的云图雨量关联规则挖掘方法
  •     4.2.1 卫星云图与雨量关联规则概述
  •     4.2.2 Apriori算法
  • Apriori算法'>  4.3 基于矩阵的MApriori算法
  • Apriori算法'>  4.4 基于压缩矩阵的MCApriori算法
  • Apriori算法的并行化'>  4.5 MCApriori算法的并行化
  • MCApriori算法实现'>    4.5.1 SPMCApriori算法实现
  • MCApriori算法性能分析'>    4.5.2 SPMCApriori算法性能分析
  •   4.6 实验验证与分析
  •     4.6.1 实验环境搭建
  •     4.6.2 数据集
  •     4.6.3 实验与结果分析
  • MCApriori算法的云图-雨量关联规则挖掘'>    4.6.4 基于SPMCApriori算法的云图-雨量关联规则挖掘
  •   4.7 本章小结
  • 5 基于Spark的降雨量预测原型系统实现
  •   5.1 原型系统架构
  •   5.2 原型系统功能模块
  •   5.3 Spark大数据平台架构
  •   5.4 应用平台典型界面展示
  • 6 总结与展望
  •   6.1 总结
  •   6.2 展望
  • 致谢
  • 参考文献
  • 攻读学位期间主要研究成果

    • 文章来源

    类型: 硕士论文

    作者: 高利峰

    导师: 张发存,刘振宇

    关键词: 卫星云图,图像挖掘,关联规则,聚类分析

    来源: 西安理工大学

    年度: 2019

    分类: 基础科学,信息科技

    专业: 气象学,计算机软件及计算机应用

    单位: 西安理工大学

    分类号: TP311.13;P457.6

    总页数: 82

    文件大小: 10537K

    下载量: 411

    相关论文文献

    • [1].基于聚类分析的高速铁路突发事故等级划分[J]. 内江科技 2019(12)
    • [2].基于PubMed数据库患者自我管理研究热点的共词聚类分析[J]. 中国医药导报 2020(01)
    • [3].基于聚类分析的学生成绩评定方法研究[J]. 智库时代 2020(11)
    • [4].基于因子聚类分析的儿童陪伴机器人用户细分[J]. 包装工程 2020(14)
    • [5].基于聚类分析的异常数据检测[J]. 电子技术与软件工程 2020(15)
    • [6].基于聚类算法的大用户用电模式识别研究[J]. 中国管理信息化 2017(19)
    • [7].数学学科核心素养要素析取的实证研究[J]. 数学教育学报 2016(06)
    • [8].聚类分析对学生成绩的研究[J]. 无线互联科技 2014(12)
    • [9].聚类分析和判别分析在投资中的应用[J]. 信息安全与技术 2015(06)
    • [10].基于K-聚类分析法的预防性养护路段划分[J]. 安徽建筑 2015(03)
    • [11].我国“中部崛起”战略的实证分析[J]. 智富时代 2016(S2)
    • [12].基于聚类分析的墨量预置优化方法[J]. 数码世界 2016(12)
    • [13].互联网保险产品开发研究——基于平安互联网保险产品的聚类分析[J]. 保险理论与实践 2017(03)
    • [14].高职大学生心理健康水平的聚类分析[J]. 现代职业教育 2017(07)
    • [15].环境安全评价指标体系的构建及聚类分析——以江苏省13市为例[J]. 赤子(下旬) 2017(01)
    • [16].聚类分析在方言分区上的应用——以江淮官话洪巢片为例[J]. 国际汉语学报 2017(01)
    • [17].经典划分聚类分析方法及算例[J]. 地壳构造与地壳应力文集 2016(02)
    • [18].聚类分析理论的简单应用[J]. 科学中国人 2016(03)
    • [19].2015—2018年国外机构养老研究热点的共词聚类分析[J]. 中国社会医学杂志 2019(06)
    • [20].基于主成分分析和Q型聚类分析的2018年俄罗斯世界杯足球赛各队技战术综合分析[J]. 计算机时代 2020(01)
    • [21].基于聚类分析的不均衡数据标注技术研究[J]. 计算机仿真 2020(02)
    • [22].大学生职业潜能聚类分析与实际就业状况的关联性研究[J]. 教育评论 2018(01)
    • [23].聚类分析在财政实务工作中的应用[J]. 财政科学 2018(02)
    • [24].农业生产资料价格指数的聚类分析[J]. 电脑知识与技术 2017(27)
    • [25].基于PubMed的共词聚类分析方法[J]. 电子科技 2016(02)
    • [26].聚类分析在外国语言学研究中的应用探讨[J]. 中国校外教育 2018(07)
    • [27].基于聚类分析法的机场出租车问题研究[J]. 科学技术创新 2020(35)
    • [28].基于因子聚类分析的安徽服务业竞争力评价[J]. 中国市场 2013(02)
    • [29].教学测评数据的对应聚类分析法研究[J]. 科技信息 2012(34)
    • [30].近红外光谱和聚类分析法无损快速鉴别小儿抽风散[J]. 光谱学与光谱分析 2008(02)

    标签：;  ;  ;  ;  

    基于Spark的降雨量预测方法研究与实现
    下载Doc文档

    猜你喜欢

    © 2024 毕论降 版权所有 鄂ICP备12018319号-6