67200字硕士毕业论文海量数据稀释算法研究及软件设计

论文类型：硕士毕业论文

论文字数：67200字

论点：海量,数据,分析

论文概述：

海量数据稀化技术在测试数据的后期处理领域具有广泛的应用前途。本文针对海量数据后期处理困难的问题，从均匀重采样与非均匀重采样两个方而对数据稀化算法进行了深入的研究，并从理

论文正文：

简介

1.1研究背景、目的和意义

随着电子信息技术的发展，系统芯片的信息处理能力不断增强，电子测试设备的采样频率越来越高，测试精度取得了很大进步。它已广泛应用于工业、农业、医疗、航空空航天、武器系统测试等地方。并发挥着不可或缺的作用。然而，当测试设备进行长期实时监控时，它将产生数百兆字节甚至数千千兆字节的测试数据。如此大的测试数据通常被称为“海量数据”。
对于如此大量的测试数据，在数据的后处理和信号特征信息的快速提取过程中会遇到一系列困难。首先，常见的处理方法(如傅立叶变换、相关分析等)。)由于数据量大、系统运行缓慢、等待时间长、处理效果低，甚至无法完成对大量数据的分析和处理[魔术；第二，海量数据中的有用信息可能淹没在大量无用信息中，无法快速有效地识别和定位，从而严重影响数据处理的效率和效果4海量数据处理系统软件........50-76
4.1虚拟仪器和LabVIEW编程........50-53
4.1.1虚拟仪器的结构........50-51
4.1.2 LabVIEW编程........51-52
4.1.3 LabVIEW信号分析........52-53
4.2海量数据稀释模块........53-59
4.2.1统一下变频重采样算法........53-55[/比尔/] 4.2.2基于曲率变化的海量数据........55-59
4.2.3非均匀下变频重采样数据........59[/比尔/] 4.3信号特征分析模块........59-66 [/BR/] 4.3.1时域分析........59-61 [/BR/] 4.3.2频域分析........61-63 [/BR/] 4.3.3时频域联合........63-66 [/BR/] 4.4系统控制和文件管理部........66-69
4.4.1用户登录模块设置为........66-67
4.4.2数据存储模块........67-68
4.4.3报告打印模块........68-69
4.5实验结果和........69-74
4.6本章摘要........74-76
5总结和展望........76-78
5.1主........76-77
5.2未来工作........77-78；第三，海量数据信号特征的变化规律极其复杂，难以掌握，制约了信号特征信息的快速提取。因此，如何使用有效的数据细化方法，采用适当的信号处理技术来分析和处理海量数据，从而完成海量数据的时频分析和信号特征的快速提取，进一步提高处理效率，是当前具有一定应用价值的研究课题。
本课题的研究目的是从均匀细化和非均匀细化两个方面深入研究海量数据的细化算法，并提出一种海量测试数据的非均匀细化算法。在理论研究的基础上，基于实验室五IEW编程语言，研究设计了一个海量数据信号处理系统。该系统通过均匀和不均匀地细化海量数据，并利用傅里叶变换、相关分析、频谱分析和小波分析等常用时频域分析方法对细化后的局部重构数据进行分析和处理，实现海量数据特征信息的快速提取和显示。
海量数据细化算法的研究能够有效解决当前测试领域海量测试数据处理效率低、无法实时快速获取测试数据特征信息的问题，为以后的测试数据详细分析提供基本技术保障。另外，利用LabVIEW“软件即仪器”的优势，海量数据处理方法可以方便地应用到测试设备中，对提高测试设备的整体性能起到了一定的促进作用。

1.2国内外研究现状

1。2.1海量数据处理技术的研究现状
处理海量数据的首要任务是稀释海量数据，即试图用最少的数据量来表达来自源的信号，从而最小化信号占用的存储空间空。此外，关键信息的数据细化算法不能尽可能多地丢失信号，是海量数据处理的关键。对于彼此没有相关信息的分散的海量数据点，需要首先找到每个数据点与相邻数据点之间的相关规则。在此过程中，如果计算每个点并与其他点进行比较，细化效率相对较低。目前，国内外已经提出了许多实用的方法来简化海量数据。
波利m、格罗斯m、科比特提出了基于点的简化，即直接用采样点的空代替数据波形的包络信息，避免了存储点之间的连通性造成的信息冗余和过度存储消耗，同时保证了简化数据的质量。典型的算法包括点删除、基于傅立叶理论的简化和基于局部变化估计的简化。然而，这种简化容易丢失关键数据特征，并且难以确保边界线或转弯线处足够的采样密度，导致数据不完整，这不利于数据的后处理。

[3]

海量数据稀释技术在测试数据后处理领域具有广阔的应用前景。针对海量数据后处理困难的问题，从均匀重采样和非均匀重采样两个方面深入研究了数据细化算法，并从理论上分析了重采样数据的处理方法。最后，基于LabVIEW软件平台和模块化设计的核心思想，设计开发了海量数据细化算法软件系统，并对细化算法进行了验证和分析。本文完成的主要工作如下:
(1)根据任务和项目要求，在深入分析海量数据细化技术原理和发展现状的基础上，结合虚拟仪器技术及其编程语言LabVIEW，提出了基于LabVIEW平台的海量数据细化和信号分析处理的设计思路和总体方案。

参考
[1]邱泽洋，宋晓瑜。质量数据的均匀稀释[。兰州交通大学学报。2006年，25 (4): 63-67。
[2]林茂。虚拟现实项目中海量数据处理方法的分析。价值工程。2011年，30 (19) :15-160。
[3]何方圆。关于海量数据处理技术的研究[。情报学。2009年，8: 59-60。
[4]任春辉、卫平、肖先慈。改进的小波在信号特征提取中的应用[[]。无线电科学杂志。2003.18 (6) :633-637。
[5]马强。王坦。数据压缩算法在单片机上的实现[[]。焦作大学学报。2008年，4: 78-79。
[6]张丽艳、周儒荣、蔡伟斌。《海量测量数据简化技术研究》，[。计算机辅助设计与图形杂志，2001 (11): 1020-1023。[/比尔/] [7]保罗·米，格罗斯·米，戈培尔。in: ieee可视化02 [c】。2002.41-49。
[8]吴建杰，黄正东王启富。黄鲍云，基于模糊聚类的海量测量数据简化方法[[]。工程制图杂志。[2004，3:38-45
[9]张丽艳，周儒荣，蔡伟斌，等，海量测量数据简化技术研究[]。计算机辅助设计与图形杂志，2001，13 (1): 1019-1023。[/比尔/] [10]董肖明，郑康平，姚斌。瞿尔[重建中点云数据压缩处理研究。组合机床和自动加工技术，2004，5:67-69。