基于Spark和小波分析的水上交通异常数据实时检测方法研究

基于Spark和小波分析的水上交通异常数据实时检测方法研究

论文摘要

针对不断增加的水路运输产生的水上交通数据量增长,导致的水上交通监测难度更大、处理时间更长,提出一种基于Spark的交通异常数据实时检测方法,通过对船舶自动识别系统(AIS)数据进行处理,对不同类型的交通数据进行分析并写入分布式文件系统HDFS中。然后通过小波分析的方法对AIS数据进行多层分解,去除高频噪声并对数据进行重构,找出AIS数据中的异常信息。通过对异常信息进行分析,结合Spark的数据处理结果,最终实时检测出交通异常数据。实验结果表明能够在短时间内对异常数据进行检测和分析,处理速度快,异常数据检测结果符合该水域的交通情况,检测方法能够为海事部门提供实时、稳定的监管服务。

论文目录

  • 1 异常数据检测方法
  •   1.1 水上交通异常数据
  •   1.2 AIS数据接收
  •   1.3 异常数据检测
  •   1.4 整体功能设计
  • 2 Spark数据处理方法
  •   2.1 AIS大数据处理
  •   2.2 小波分析处理
  •   2.3 异常数据分析
  • 3 案例分析
  •   3.1 数据来源
  •   3.2 大数据处理结果
  •   3.3 异常数据检测结果
  • 4 小结
  • 文章来源

    类型: 期刊论文

    作者: 杨帆,何正伟,刘力荣

    关键词: 交通异常信息,大数据,船舶自动识别系统,小波分析

    来源: 陕西理工大学学报(自然科学版) 2019年01期

    年度: 2019

    分类: 基础科学,工程科技Ⅱ辑

    专业: 船舶工业

    单位: 武汉理工大学航运学院,内河航运技术湖北省重点实验室,国家水运安全工程技术研究中心

    基金: 武汉理工大学自主创新研究基金资助项目(185212008),中央高校基本科研业务费专项资金资助项目

    分类号: U675.7

    页码: 35-41

    总页数: 7

    文件大小: 140K

    下载量: 186

    相关论文文献

    标签:;  ;  ;  ;  

    基于Spark和小波分析的水上交通异常数据实时检测方法研究
    下载Doc文档

    猜你喜欢