大规模数据获取系统下的数据汇聚关键技术研究

论文摘要

在地球物理勘探和高能物理等科研领域,经常会通过大型物理实验对学科的前沿理论和猜想进行研究。数据获取系统是大型物理学实验中非常重要的设备,它的核心功能是接收前端采集电子学的原始数据,按实验要求对数据进行预处理等操作,然后将其汇总记录到存储系统中,等待进一步的分析。近年来,随着科技水平进步,大规模传感器阵列中通道数量、采样频率都在不断提升,数据获取系统的原始数据率也在递增,随之而来的问题就是如何提高大规模数据获取系统的数据传输和实时处理能力。数据汇聚是数据获取系统中很重要的一个环节,主要负责对数据进行及时高效的组织和汇聚,并且将汇总后的数据传输到后端存储系统。数据获取系统可以通过提升数据汇聚能力来提高传输和处理能力的上限。不同的数据获取系统内部结构虽然存在差异,但是核心功能和工作流程都是相似的,所以理论上可以用一个通用的方案解决多个系统的数据汇聚问题。为了设计出高性能高通用的数据汇聚方案,在解决大规模数据获取系统的数据汇聚问题的同时,能够适用于多种大型物理学实验的数据获取系统,本论文展开了相关的研究工作。本论文在调研参考技术和分析方案需求的基础上,遵循通用化和标准化的设计思路,最终结合软硬件设计实现了一种适用于多种大规模数据获取系统的高速数据汇聚方案,具备很强的灵活性、改动成本低、能够稳定可靠的传输数据等优点。硬件设计方面采用了FMC标准,能够以替换FMC子卡的方式,低成本的改变扩展和前端电子学连接的数据接口,让方案从硬件层面具备了适用于多种数据获取系统的能力。逻辑设计时制定了统一规范,使用标准的接口和数据格式,并且划分了不同的功能模块,能够方便的添加自定义逻辑模块,或者是根据需求对单独模块修改和替换,可以满足方案在实际应用时的各种需求变化。本论文的组织结构上安排如下:第一章介绍了大规模数据获取系统下数据汇聚方案的研究背景和意义,确定了方案的设计目标和需要解决的关键技术问题,同时调研了国内外典型的数据获取系统的现状和发展趋势作为设计参考,并且给出了本文的研究内容和结构安排。第二章首先通过分析比较和调研接口技术明确了如何实现关键技术,从而确立了方案的整体设计内容,之后从硬件设计和逻辑设计两个方面介绍了数据汇聚的总体设计方案。第三章介绍了前端数据接收功能的实现。首先分析了方案需求的FMC子卡接口类型和数据率,然后使用Aurora IP核实现接收高速数据功能,并且利用IP核自身能够双向传输的特性设计了阻塞机制,确保了数据在传输过程中不会丢失或是重传。第四章介绍了多节点数据汇聚功能的实现。首先介绍了基于传输协议实现的数据合并机制面对两类数据获取系统的不同做法,然后介绍了通过信号仲裁实现接口轮流传输的接口调度机制,最后介绍了基于DDR3的存储功能实现的数据缓存功能。第五章从逻辑模块设计和驱动程序开发两个方面,完整的介绍了数据汇聚方案的后端数据高速传输功能是如何实现的。首先介绍了和PCIe总线协议有关的基础知识作为参考,然后介绍了调用PCIe IP核和DMA引擎实现的逻辑功能,最后介绍了驱动程序的中断方式和响应机制,以及具体DMA传输工作流程。第六章介绍了逻辑仿真的结果和联合工作站进行的传输测试结果。根据设计的测试方案,首先对逻辑模块的功能进行了仿真,之后在工作站上联合PIFC接口卡和驱动程序进行了传输测试和阻塞机制测试,用测试数据证明了该数据汇聚方案是可行的。第七章对整个论文的内容进行了总结,介绍了工作的创新点和不足之处,并且进一步指出了未来的发展方向。

论文目录

摘要

ABSTRACT

第1章绪论

1.1 论文研究背景及意义

1.2 数据汇聚设计目标及关键技术

1.2.1 设计目标

1.2.2 关键技术

1.3 国内外研究发展现状

1.3.1 大型物理实验的数据获取系统现状

1.3.2 数据处理计算架构发展趋势

1.4 论文的研究内容与结构安排

第2章数据汇聚方案总体设计

2.1 引言

2.2 关键技术实现

2.2.1 前端多接口数据接收

2.2.2 多节点数据汇聚

2.2.3 后端数据高速传输

2.3 硬件设计方案

2.3.1 调研参考设计

2.3.2 PIFC载卡设计方案

2.3.3 FMC子卡设计方案

2.4 逻辑设计方案

2.4.1 逻辑设计规范

2.4.2 总体逻辑架构

2.5 本章小结

第3章前端数据接收功能实现

3.1 引言

3.2 逻辑功能实现

3.2.1 逻辑共享模式

3.2.2 传输阻塞机制

3.3 本章小结

第4章多节点数据汇聚功能实现

4.1 引言

4.2 基于协议的数据合并机制

4.2.1 数据在时间空间上分布密集的合并

4.2.2 数据在时间空间上分布稀疏的合并

4.3 基于仲裁的接口调度机制

4.4 数据缓存功能

4.5 本章小结

第5章后端数据传输功能实现

5.1 引言

5.2 PCIe总线协议简介

5.2.1 PCIe总线拓扑结构

5.2.2 PCIe设备分层结构

5.2.3 PCIe设备配置空间

5.2.4 PCIe总线事务机制

5.2.5 PCIe设备中断方式

5.3 传输逻辑设计

5.3.1 DMA传输方式

5.3.2 逻辑功能实现

5.4 驱动程序设计

5.4.1 Linux系统中断机制

5.4.2 DMA数据传输流程

5.4.3 驱动程序中断响应

5.4.4 驱动程序工作流程

5.5 本章小结

第6章逻辑仿真与传输测试

6.1 引言

6.2 测试方案设计

6.3 逻辑功能仿真

6.3.1 数据接收模块仿真

6.3.2 接口调度模块仿真

6.3.3 阻塞机制仿真

6.4 工作站传输测试

6.4.1 驱动程序加载

6.4.2 DMA传输测试

6.4.3 阻塞机制测试

6.5 本章小结

第7章总结与展望

7.1 论文内容总结

7.2 研究方向展望

参考文献

致谢

文章来源

类型: 硕士论文

作者: 吴辰晨

导师: 宋克柱,杨俊峰

关键词: 数据获取系统,数据汇聚,高速传输,总线,传输

来源: 中国科学技术大学

年度: 2019

分类: 基础科学,工程科技Ⅰ辑,信息科技

专业: 物理学,地质学,地球物理学,矿业工程,计算机软件及计算机应用

单位: 中国科学技术大学

基金: 国家重点研发计划“深海关键技术与装备”重点专项,项目名称“适用于深海深地层地震拖缆高速率髙可靠数据传输关键技术及通用平台研究”,项目编号2016YFC0303200,国家自然科学基金的共同资助,项目名称“基于流处理方式的无触发数据获取系统的设计和验证”,项目编号11775218

分类号: O572;TP311.13;P631

总页数: 88

文件大小: 7419K

下载量: 97

大规模数据获取系统下的数据汇聚关键技术研究

论文摘要

论文目录

文章来源

相关论文文献

猜你喜欢