土壤特性的优化采样策略及空间离群样点检测算法研究

土壤特性的优化采样策略及空间离群样点检测算法研究

论文摘要

优化的采样策略是对采样强度、分析成本及其研究精度三方面的均衡,即以最小的经济投入换取最大化的实验精度。采样调查是土壤特性分析的重要手段,同时也广泛地应用于地理研究、环境评估、资源考察等领域,是开展相关实验研究的基础和前提,采样方案设定是否科学不仅对研究工作开展的进程有极大影响,也决定着研究结果的准确性和科学性,因此,如何科学地优化采样策略,是每个研究者共同关注的一个重点和难点问题。随着采样区域的扩大、传感器设备及采样方法的发展,土壤特性研究所需采集的项目越来越多,研究精度也越来越高,庞大的样本数据集和高纬度的数据构成对数据预处理带来了趋于严峻的挑战。而离群样点检测通常是数据预处理的关键任务,对于采样调查而言,离群样点的存在对研究对象的空间变异性及合理采样数的影响程度成为亟待研究的问题。对于具有空间分布属性的数据集,离群样点必然导致研究结果存在一定程度的偏差,甚至对研究结果产生不可小视的影响。为此,需要在数据集中将离群样点检测并筛选出来,以便于数据集的预处理以及进一步分析离群样点产生的机理,故而,需要探究一种适用于土壤特性空间数据集的离群样点检测模型。国内外的采样设计多基于模型来优化,其缺陷在于不适用于初步采样,而偏重为多次采样和后期监测点的布置提供参考,同时,支撑其理论的初步采样数据,往往遵循随机抽样,忽略了空间相关性,在一定程度上将造成结果偏差。针对以上问题,本研究建立了一种可赋权、信息传递完整、包容性强(可涵盖定性、定量两类协同因子)的基于优先级指数的土壤采样设计方法。针对该法提供了一种基于聚类法的代表性验证方法,其中,为避免定性与定量协同因子之间计量运算困难,对数据集间的欧式距离公式和中心点公式进行了修正,并引入贴近度、紧致与分离性效果两个修正后的指标,以此将优先级指数采样法、分层采样法、随机采样法做对比分析,并以基于克里格插值的独立验证作为对比。优先级指数采样法得到的点集所携带的信息相较于分层采样点集和随机采样点集更接近于总样本点集。本研究的采样设计方法能够满足省级及以上区域采样需求,提高采样效率和质量,可为其他土壤采样方案的设计提供一定参考。为了了解离群样点的存在对研究对象的空间变异性及合理采样数的影响程度,本研究通过全局离群样点检测、LOF模型、LDOF模型和SLOF模型对研究区水动力参数数据集的检测和对比,在数据统计特征、空间变异性和合理采样数三个方面比较分析离群样点所产生的影响。结果表明,离群样点的属性比离群样点的数量对空间变异性及合理采样数影响更明显,其中局部离群样点和全局离群样点在影响对象上各有偏重;离群样点的剔除使得合理采样数有不同程度的降低,其插值效果明显优于原始样本集,其中SLOF模型的效果相对更好;模型对比的独立验证中,数值的模拟误差和趋势的模拟偏差都会对插值效果产生影响。对于空间采样所得的数据而言,特别是采样密度分布不均一的数据集,传统的离群样点检测方法无法满足检测需求,而现有的空间局部离群样点检测算法将空间属性与非空间属性剥离计算,k临近数无法充分体现空间属性的价值,同时,对用户预设初值的依懒性较大,并存在很强的边缘效应,无法得到较为满意的离群样点检测体验和检测结果。为此,本文提出了一种基于斜率的空间局部离群样点检测方法,充分利用空间属性与非空间属性提供的信息,对局部离群样点的捕捉更加敏锐,此外,该算法利用数据集固有的变程来代替传统的k临近数,并引入了k循环增减计算,降低了用户依赖性。在与现有的SLOF算法比较的结果来看,基于斜率的空间局部离群样点检测方法具有更高的精确度,能够更好的适应空间分布数据集特点,更好地完成的离群样点检测工作。土壤特性的优化采样策略及空间离群样点检测算法研究初步完成了在大尺度范围条件下从采样策略到数据预处理的基本工作,为土壤特性研究提供了与其特性相适应的采样策略及离群样点检测的方法,并为离群样点对空间数据集等方面的影响提供了一定的理论基础,为今后进一步的土壤特性研究提供了一定的条件。

论文目录

  • 摘要
  • 英文摘要
  • 1 绪论
  •   1.1 选题背景与意义
  •     1.1.1 优化采样策略是土壤特性研究的立论之本
  •     1.1.2 空间离群样点检测是土壤特性研究的数据保障
  •   1.2 土壤特性的优化采样策略研究进展
  •     1.2.1 合理采样数研究
  •     1.2.2 样点优化布设研究
  •   1.3 离群样点检测研究进展
  •     1.3.1 基于分布的离群样点检测方法
  •     1.3.2 基于深度的离群样点检测方法
  •     1.3.3 基于聚类的离群样点检测方法
  •     1.3.4 基于距离的离群样点检测方法
  •     1.3.5 基于密度的离群样点检测方法
  •     1.3.6 空间局部离群样点检测方法
  •   1.4 目前存在的问题
  •     1.4.1 土壤特性采样策略所存在的问题
  •     1.4.2 离群样点检测研究所存在的问题
  •   1.5 研究内容和技术路线
  •     1.5.1 研究内容
  •     1.5.2 技术路线
  • 2 基于优先级指数的土壤采样设计方法研究
  •   2.1 研究方法
  •     2.1.1 协同因子的选择
  •     2.1.2 协同因子的权重分配
  •     2.1.3 协同因子中各子集的贡献值计算
  •     2.1.4 优先级指数的计算
  •     2.1.5 采样点的布设
  •   2.2 实例研究
  •     2.2.1 研究区概况与数据来源
  •     2.2.2 协同因子的选择
  •     2.2.3 协同因子的权重分配
  •     2.2.4 代表性等级的计算
  •     2.2.5 确定合理采样数
  •     2.2.6 采样点的布设
  •   2.3 代表性验证
  •     2.3.1 基于聚类法的代表性验证
  •     2.3.2 基于克里格插值的独立检验
  •   2.4 本章小结
  • 3 离群样点对土壤特性空间变异性及合理采样数的影响研究
  •   3.1 研究区与数据获取
  •     3.1.1 试验区概况
  •     3.1.2 样品采集与分析
  •   3.2 研究方法
  •     3.2.1 离群样点检测
  •     3.2.2 离群样点检测模型评估
  •     3.2.3 合理采样数计算
  •   3.3 结果分析
  •     3.3.1 离群样点检测结果分析
  •     3.3.2 离群样点对水动力参数统计分析的影响
  •     3.3.3 离群样点对水动力参数空间变异性的影响
  •     3.3.4 离群样点对水动力参数合理采样数的影响
  •   3.4 本章小结
  • 4 空间分布数据集局部离群点挖掘算法研究
  •   4.1 空间土壤数据集离群检验亟需解决的问题
  •   4.2 基于斜率的空间局部离群样点检测方法
  •     4.2.1 定义
  •     4.2.2 算法介绍
  •   4.3 实验分析
  •   4.4 本章小结
  • 5 结论与展望
  •   5.1 结论
  •   5.2 展望
  • 致谢
  • 参考文献
  • 附录
  • 攻读硕士学位期间发表的学术论文
  • 文章来源

    类型: 硕士论文

    作者: 陈伟杰

    导师: 王子龙

    关键词: 土壤特性空间采样策略,合理采样数,空间变异性,数据预处理,空间局部离群样点检测

    来源: 东北农业大学

    年度: 2019

    分类: 基础科学,农业科技

    专业: 自然地理学和测绘学,农业基础科学,农艺学

    单位: 东北农业大学

    分类号: S151.9

    总页数: 78

    文件大小: 5074K

    下载量: 129

    相关论文文献

    • [1].基于集成方法的离群点检测算法研究[J]. 电子世界 2020(06)
    • [2].基于局部估计密度的局部离群点检测算法[J]. 小型微型计算机系统 2020(02)
    • [3].基于插值的高维稀疏数据离群点检测方法[J]. 计算机工程与科学 2020(06)
    • [4].离群点检测算法的评价指标[J]. 计算机应用 2020(09)
    • [5].离群点识别方法研究[J]. 软件导刊 2019(06)
    • [6].基于离群点检测和分类的软测量方法[J]. 山东化工 2018(09)
    • [7].基于地统计学的空间离群点检测算法的研究[J]. 计算机应用研究 2016(12)
    • [8].基于高频关键词的离群点监测与异类知识研究——从文献分析视角[J]. 情报杂志 2017(05)
    • [9].离群点检测概述[J]. 信息系统工程 2017(05)
    • [10].一种分布式计算的空间离群点挖掘算法[J]. 测绘科学 2017(08)
    • [11].一种基于多标记的局部离群点检测算法[J]. 微电子学与计算机 2017(10)
    • [12].基于改进的离群点检测软测量方法研究[J]. 自动化与信息工程 2015(04)
    • [13].基于集合论估计的电网状态辨识 (四)离群点识别[J]. 电力系统自动化 2016(08)
    • [14].异质网中基于张量表示的动态离群点检测方法[J]. 计算机研究与发展 2016(08)
    • [15].一种基于多示例学习的局部离群点检测算法[J]. 信息与控制 2016(04)
    • [16].集成电路中用于离群点测试选择的总体框架[J]. 工业控制计算机 2014(11)
    • [17].关联子空间离群点挖掘[J]. 小型微型计算机系统 2015(05)
    • [18].基于距离的数据流离群点快速检测[J]. 世界科技研究与发展 2013(04)
    • [19].离群点检测算法在药品不良反应异常信号挖掘中的应用[J]. 现代养生 2017(06)
    • [20].从数学的角度初步看离群点检测算法[J]. 环球市场信息导报 2017(36)
    • [21].一种个性化k近邻的离群点检测算法[J]. 小型微型计算机系统 2020(04)
    • [22].一种面向混合属性数据的邻域粒离群点检测[J]. 小型微型计算机系统 2020(04)
    • [23].基于多相关性的传感数据离群点检测与处理[J]. 测控技术 2020(04)
    • [24].基于主动学习的离群点集成挖掘方法研究[J]. 计算机工程与应用 2020(12)
    • [25].聚类剪枝算法在离群点检测中的应用[J]. 广东通信技术 2018(12)
    • [26].基于多示例学习的局部离群点改进算法[J]. 计算机工程与应用 2019(18)
    • [27].一种改进隔离森林的快速离群点检测算法[J]. 小型微型计算机系统 2019(11)
    • [28].一种基于密度的离群点检测方法[J]. 西南科技大学学报 2018(01)
    • [29].离群点检测技术在教育教学中的应用[J]. 现代教育技术 2018(06)
    • [30].基于图像的重建点云离群点检测算法[J]. 数据采集与处理 2018(05)

    标签:;  ;  ;  ;  ;  

    土壤特性的优化采样策略及空间离群样点检测算法研究
    下载Doc文档

    猜你喜欢