论文摘要
利用Spark平台对电力用户侧的大数据进行分析,提出基于梯度提升树的并行负荷预测方法.首先对历史负荷和天气数据集进行并行化分割处理,并采用特征提取与转换方法获取到预测模型所需的特征向量;然后合理设定Spark集群节点数以及调节Hadoop分布式文件系统(HDFS)分块大小;最后将参数调优后的梯度提升树模型部署到Spark分布式平台上进行训练与预测,并将该模型预测结果与其他预测模型进行精度比较.研究结果表明:通过合理划分HDFS中存储块的大小能有效提高集群对于大数据处理的效率,分布式梯度提升树算法在快速性与准确性上均有比较大的优势,能够满足电力负荷预测的要求.
论文目录
文章来源
类型: 期刊论文
作者: 许贤泽,刘静,施元,谭盛煌
关键词: 负荷预测,分布式计算,大数据,梯度提升树,平台
来源: 华中科技大学学报(自然科学版) 2019年05期
年度: 2019
分类: 工程科技Ⅱ辑,信息科技
专业: 电力工业,计算机软件及计算机应用
单位: 武汉大学电子信息学院
基金: 国家自然科学基金资助项目(51705375)
分类号: TM715;TP311.13
DOI: 10.13245/j.hust.190516
页码: 84-89
总页数: 6
文件大小: 558K
下载量: 391