土壤特性的优化采样策略及空间离群样点检测算法研究

论文摘要

优化的采样策略是对采样强度、分析成本及其研究精度三方面的均衡,即以最小的经济投入换取最大化的实验精度。采样调查是土壤特性分析的重要手段,同时也广泛地应用于地理研究、环境评估、资源考察等领域,是开展相关实验研究的基础和前提,采样方案设定是否科学不仅对研究工作开展的进程有极大影响,也决定着研究结果的准确性和科学性,因此,如何科学地优化采样策略,是每个研究者共同关注的一个重点和难点问题。随着采样区域的扩大、传感器设备及采样方法的发展,土壤特性研究所需采集的项目越来越多,研究精度也越来越高,庞大的样本数据集和高纬度的数据构成对数据预处理带来了趋于严峻的挑战。而离群样点检测通常是数据预处理的关键任务,对于采样调查而言,离群样点的存在对研究对象的空间变异性及合理采样数的影响程度成为亟待研究的问题。对于具有空间分布属性的数据集,离群样点必然导致研究结果存在一定程度的偏差,甚至对研究结果产生不可小视的影响。为此,需要在数据集中将离群样点检测并筛选出来,以便于数据集的预处理以及进一步分析离群样点产生的机理,故而,需要探究一种适用于土壤特性空间数据集的离群样点检测模型。国内外的采样设计多基于模型来优化,其缺陷在于不适用于初步采样,而偏重为多次采样和后期监测点的布置提供参考,同时,支撑其理论的初步采样数据,往往遵循随机抽样,忽略了空间相关性,在一定程度上将造成结果偏差。针对以上问题,本研究建立了一种可赋权、信息传递完整、包容性强(可涵盖定性、定量两类协同因子)的基于优先级指数的土壤采样设计方法。针对该法提供了一种基于聚类法的代表性验证方法,其中,为避免定性与定量协同因子之间计量运算困难,对数据集间的欧式距离公式和中心点公式进行了修正,并引入贴近度、紧致与分离性效果两个修正后的指标,以此将优先级指数采样法、分层采样法、随机采样法做对比分析,并以基于克里格插值的独立验证作为对比。优先级指数采样法得到的点集所携带的信息相较于分层采样点集和随机采样点集更接近于总样本点集。本研究的采样设计方法能够满足省级及以上区域采样需求,提高采样效率和质量,可为其他土壤采样方案的设计提供一定参考。为了了解离群样点的存在对研究对象的空间变异性及合理采样数的影响程度,本研究通过全局离群样点检测、LOF模型、LDOF模型和SLOF模型对研究区水动力参数数据集的检测和对比,在数据统计特征、空间变异性和合理采样数三个方面比较分析离群样点所产生的影响。结果表明,离群样点的属性比离群样点的数量对空间变异性及合理采样数影响更明显,其中局部离群样点和全局离群样点在影响对象上各有偏重;离群样点的剔除使得合理采样数有不同程度的降低,其插值效果明显优于原始样本集,其中SLOF模型的效果相对更好;模型对比的独立验证中,数值的模拟误差和趋势的模拟偏差都会对插值效果产生影响。对于空间采样所得的数据而言,特别是采样密度分布不均一的数据集,传统的离群样点检测方法无法满足检测需求,而现有的空间局部离群样点检测算法将空间属性与非空间属性剥离计算,k临近数无法充分体现空间属性的价值,同时,对用户预设初值的依懒性较大,并存在很强的边缘效应,无法得到较为满意的离群样点检测体验和检测结果。为此,本文提出了一种基于斜率的空间局部离群样点检测方法,充分利用空间属性与非空间属性提供的信息,对局部离群样点的捕捉更加敏锐,此外,该算法利用数据集固有的变程来代替传统的k临近数,并引入了k循环增减计算,降低了用户依赖性。在与现有的SLOF算法比较的结果来看,基于斜率的空间局部离群样点检测方法具有更高的精确度,能够更好的适应空间分布数据集特点,更好地完成的离群样点检测工作。土壤特性的优化采样策略及空间离群样点检测算法研究初步完成了在大尺度范围条件下从采样策略到数据预处理的基本工作,为土壤特性研究提供了与其特性相适应的采样策略及离群样点检测的方法,并为离群样点对空间数据集等方面的影响提供了一定的理论基础,为今后进一步的土壤特性研究提供了一定的条件。

论文目录

摘要

英文摘要

1 绪论

1.1 选题背景与意义

1.1.1 优化采样策略是土壤特性研究的立论之本

1.1.2 空间离群样点检测是土壤特性研究的数据保障

1.2 土壤特性的优化采样策略研究进展

1.2.1 合理采样数研究

1.2.2 样点优化布设研究

1.3 离群样点检测研究进展

1.3.1 基于分布的离群样点检测方法

1.3.2 基于深度的离群样点检测方法

1.3.3 基于聚类的离群样点检测方法

1.3.4 基于距离的离群样点检测方法

1.3.5 基于密度的离群样点检测方法

1.3.6 空间局部离群样点检测方法

1.4 目前存在的问题

1.4.1 土壤特性采样策略所存在的问题

1.4.2 离群样点检测研究所存在的问题

1.5 研究内容和技术路线

1.5.1 研究内容

1.5.2 技术路线

2 基于优先级指数的土壤采样设计方法研究

2.1 研究方法

2.1.1 协同因子的选择

2.1.2 协同因子的权重分配

2.1.3 协同因子中各子集的贡献值计算

2.1.4 优先级指数的计算

2.1.5 采样点的布设

2.2 实例研究

2.2.1 研究区概况与数据来源

2.2.2 协同因子的选择

2.2.3 协同因子的权重分配

2.2.4 代表性等级的计算

2.2.5 确定合理采样数

2.2.6 采样点的布设

2.3 代表性验证

2.3.1 基于聚类法的代表性验证

2.3.2 基于克里格插值的独立检验

2.4 本章小结

3 离群样点对土壤特性空间变异性及合理采样数的影响研究

3.1 研究区与数据获取

3.1.1 试验区概况

3.1.2 样品采集与分析

3.2 研究方法

3.2.1 离群样点检测

3.2.2 离群样点检测模型评估

3.2.3 合理采样数计算

3.3 结果分析

3.3.1 离群样点检测结果分析

3.3.2 离群样点对水动力参数统计分析的影响

3.3.3 离群样点对水动力参数空间变异性的影响

3.3.4 离群样点对水动力参数合理采样数的影响

3.4 本章小结

4 空间分布数据集局部离群点挖掘算法研究

4.1 空间土壤数据集离群检验亟需解决的问题

4.2 基于斜率的空间局部离群样点检测方法

4.2.1 定义

4.2.2 算法介绍

4.3 实验分析

4.4 本章小结

5 结论与展望

5.1 结论

5.2 展望

致谢

参考文献

附录

攻读硕士学位期间发表的学术论文

文章来源

类型: 硕士论文

作者: 陈伟杰

导师: 王子龙

关键词: 土壤特性空间采样策略,合理采样数,空间变异性,数据预处理,空间局部离群样点检测

来源: 东北农业大学

年度: 2019

分类: 基础科学,农业科技

专业: 自然地理学和测绘学,农业基础科学,农艺学

单位: 东北农业大学

分类号: S151.9

总页数: 78

文件大小: 5074K

下载量: 129

土壤特性的优化采样策略及空间离群样点检测算法研究

论文摘要

论文目录

文章来源

相关论文文献

猜你喜欢