30000字硕士毕业论文并行技术在气象卫星海量数据可视化系统中的应用
论文类型：硕士毕业论文
论文字数：30000字
论点：并行,数据,可视化
论文概述：
中国气象局国家卫星气象中心将构建全新的地面管理系统，实现对FY-3卫星数据的接收、处理和使用。其中，“气象卫星海量数据动态可视化系统”便是该地面系统的重要组成部分[[36j0“气象卫
论文正文：
第1章绪论 1.1.气象卫星海量数据的动态可视化 为了满足我国天气预报、气候预报和环境监测等多方面的迫切需求，Zoos年5月27日，我国又成功地发射了“风云三号”(简称「Y-3，下同)气象卫星，它是继“风云一号”和“风云二号”气象卫星之后，由我国自主研发的新一代的极轨气象卫星，负责对全球气象变化进行全天候的观测，并实时、连续地把一定范围内的气象信息传回给地面。 中国气象局国家卫星气象中心将构建全新的地面管理系统，实现对FY-3卫星数据的接收、处理和使用。其中，“气象卫星海量数据动态可视化系统”便是该地面系统的重要组成部分[[36j0“气象卫星海量数据动态可视化系统”(简称“卫星系统”，下同)的目标是，在有效地存储海量数据的基础上，实现用户所选数据的可视化呈现，即将数据转换为图像，以直观的方式向用户展示数据。基于常规技术的卫星系统采用B/S架构，使用Web2.。技术，采用单机服务器部署，并使用单机文件系统存储海量的气象卫星数据，实现了大图浏览、漫游、缩放、定位、图层叠加、导航、剖面图截取、调色板配置等等主要功能。服务器端主要采用JavaEE,Servlet和Spring等技术，实现数据到图像的转换以及图像的传输。客户端主要采用RIA的Flex技术，提供用户对数据的选择以及图像的呈现和处理。 1.2.可视化系统中的关键问题 尽管常规系统具备一定的实用性和可行性，但实际使用表明，该系统存在着J性能瓶颈，在并发访问用户较多的情况下，系统的响应速度较慢，尤其在用户请求大数据量的卫星数据时，系统的性能下降更加明显。事实上，气象卫星数据是海量的(每天的数据量达到TB数量级，且不断累积)，如果仅使用单机文件系统进行存储，势必在存储能力和旧性能两个方面出现瓶颈;当用户请求大数据量的卫星数据时，系统在可视化(即将数据转换为图像)此类卫星数据时，需要进行大量的数据处理，消耗大量的资源。如果仅采用单机服务器部署模式，有限的服务器资源显然将会制约系统的数据处理能力。 1.3.可视化系统的并行解决方案 解决性能问题的主要方法是采用并行技术。本文在分析和研究当前主流的并行技术的基础之上，提出了基于并行技术的气象卫星海量数据并行可视化系统CParallelDataVisualizationSystemforMeteorologicalSatellite，以下简称PDVSMS)。PDVSMS采用多机服务器部署模式，利用Lustre}l}并行文件系统实现海量数据的并行存储，通过配置最佳的stripe_size实现数据高效的10操作;对于大数据量的客户请求，PDVSMS调用高性能计算集群进行数据的并行处理。1.4.本文的组织结构 第一章绪论，介绍了气象卫星海量数据动态可视化系统以及其面临的关键问题，并简单描述了并行化的解决方案。第二章并行技术分析，详细地分析了高性能计算集群技术、并行文件系统和并行算法。第三章卫星数据可视化系统的并行实现，详细地介绍PDVSMS的架构、高性能计算集群和Lustre并行文件系统的部署以及MPI并行算法的实现。第四章原型系统重构，介绍了PDVSMS中客户端和应用服务器端的实现。第五章系统性能测试，详细介绍了测试方案、测试程序的实现以及对实验结果的分析和比较。第六章总结与展望，总结了本文所完成的工作，并指出了进一步的改进PDVSMS性能可能的方向。 参考文献[1] Wikipedia. Lustre (file system)[EB/OLJ.[2009-08-15J Wensong. Locality-Based Least Connections Scheduling [EB/OL].(2006-02-27) Haxx. the multiprotocol file transfer library[EB/OL].[2009-08-17) TOP500 SUPERCOMPUTER SITES. Architecture Share Over Time [EB/OL].[2009-08-20] 摘要 7-8 Abstract 8 第1章 绪论 11-13 1.1.气象卫星海量数据的动态可视化 11 1.2.可视化系统中的关键问题 11-12 1.3.可视化系统的并行解决方案 12 1.4.本文的组织结构 12-13 第2章 并行技术概述 13-29 2.1.集群技术 13-20 2.1.1.高性能计算 13-17 2.1.2.高性能计算集群 17-20 2.2.并行文件系统 20-26 2.2.1.概述 20-23 2.2.2.Lustre并行文件系统 23-24 2.2.3.典型并行文件系统的比较 24-26 2.3.并行算法 26-29 2.3.1.概述 26-27 2.3.2.MPI并行算法 27-29 第3章 卫星数据可视化系统的并行实现 29-47 3.1.PDVSMS的整体架构 29-30 3.2.PDVSMS中的高性能计算 30-37 3.2.1.HPC集群的整体架构 30-32 3.2.2.HPC集群的软硬件配置 32-35 3.2.3.HPC集群处理流程 35-37 3.3.MPI可视化算法 37-43 3.3.1.分块算法 38-41 3.3.2.NDVI可视化算法 41-43 3.4.Lustre文件系统在PDVSMS中的应用 43-47 3.4.1.Lustre的组成 43-44 3.4.2.LNET的配置 44-45 3.4.3.stripe_size的确定 45-47 第4章 原型系统重构 47-54 4.1.应用服务器端的重构 47-51 4.1.1.应用服务器端概述 47-48 4.1.2.重构的实现 48-51 4.2.Flex客户端的重构 51-54 4.2.1.Flex客户端 51-52 4.2.2.重构的实现 52-54 第5章 PDVSMS的性能测试 54-69 5.1.测试方案 54-57 5.1.1.PDVSMS性能测试 55 5.1.2.常规系统+Lustre文件系统性能测试 55-56 5.1.3.常规系统性能测试 56 5.1.4.stripe_size测试 56-57 5.2.测试环境 57-59 5.2.1.硬件环境 57-58 5.2.2.软件环境 58-59 5.3.测试程序 59-62 5.3.1.综合性能测试实现 59-61 5.3.2.stripe_size测试实现 61-62 5.4.测试结果 62-65 5.4.1.综合性能测试结果 62-63 5.4.2.stripe_size测试结果 63-65 5.5.分析与结论 65-69 5.5.1.PDVSMS是有效的 65-66 5.5.2.MPI并行算法是有效的 66-67 5.5.3.Lustre文件系统存储是有效的 67 5.5.4.stripe_size的影响因素 67-69