论文摘要
针对我国煤炭开采技术已步入机械化、自动化、智能化无人开采及建设智慧矿山阶段,煤炭开采与其他工业领域一样逐步进入新的依靠数据生产的时代,由此产生的海量数据处理的问题,提出构建煤炭开采的大数据处理平台。在分析了我国煤炭开采生产中产生的数据量大、多样性、时效性强、数据失真可能性大、预判性要求高、数据价值密度低等特点,提出了以大数据理论和技术为基础,从硬件和软件两部分架构平台。硬件部分:提出基于原有信息化建设所选配服务器基础上,应用服务器集群技术搭建服务器集群,对其进行升级改配,不足部分再根据运行需要不断增配和调整;对集群服务器中的结点名称服务器内存大小,根据管理文件数量多少、文件块的大小、管理服务器的数量及每个服务数据的存储量,并结合服务器CPU的虚拟内核数及超线程数计算出其内存配置;对于服务器的CPU,提出主结点服务器用多内核多线程的CPU;对于集群存储系统,提出将服务器应用软件存储与海量数据储存分离,服务器本机选用固态盘用于存储应用软件,海量数据存储系统采用网络接入存储和存储区域网络集成整合模式,实现数据统一、集中管理、扩充容易、容错,保障网络无单点故障,提高集群I/O速度。软件部分:经分析平台构建需满足实现批量处理和流式计算及透明性,实现增量计算、分布式内存并行计算、高可用高可扩展的内存计算;满足煤炭开采生产中对各类数据的计数、求和、平均等计算,各类大量实时数据采集传感器数据的融合决策中的方差、标准差等实时计算等需要;满足多维度、长时间、多次重新计算等需要,提出采用Hadoop及Storm为主构建分布式大数据处理系统,其服务器操作系统用CentOS、日志消息处理用Flume软件、数据接入缓冲用kafka软件等关键技术,平台数据可视化软件使用户可根据需要做相应的选择,并不影响平台对数据的处理。
论文目录
文章来源
类型: 期刊论文
作者: 李福兴,李璐爔
关键词: 煤炭开采,大数据处理,分布式,服务器集群,存储技术
来源: 煤炭学报 2019年S1期
年度: 2019
分类: 工程科技Ⅰ辑,信息科技
专业: 矿业工程,计算机软件及计算机应用
单位: 东南大学教务处
分类号: TP311.13;TD82
DOI: 10.13225/j.cnki.jccs.2019.0252
页码: 362-369
总页数: 8
文件大小: 952K
下载量: 56