当前位置: > 硕士毕业论文 > 30000字硕士毕业论文并行技术在气象卫星海量数据可视化系统中的应用

30000字硕士毕业论文并行技术在气象卫星海量数据可视化系统中的应用

论文类型:硕士毕业论文
论文字数:30000字
论点:并行,数据,可视化
论文概述:

中国气象局国家卫星气象中心将构建全新的地面管理系统,实现对FY-3卫星数据的接收、处理和使用。其中,“气象卫星海量数据动态可视化系统”便是该地面系统的重要组成部分[[36j0“气象卫

论文正文:

第1章绪论 1.1.气象卫星海量数据的动态可视化  为了满足我国天气预报、气候预报和环境监测等多方面的迫切需求,Zoos年5月27日,我国又成功地发射了“风云三号”(简称「Y-3,下同)气象卫星,它是继“风云一号”和“风云二号”气象卫星之后,由我国自主研发的新一代的极轨气象卫星,负责对全球气象变化进行全天候的观测,并实时、连续地把一定范围内的气象信息传回给地面。  中国气象局国家卫星气象中心将构建全新的地面管理系统,实现对FY-3卫星数据的接收、处理和使用。其中,“气象卫星海量数据动态可视化系统”便是该地面系统的重要组成部分[[36j0“气象卫星海量数据动态可视化系统”(简称“卫星系统”,下同)的目标是,在有效地存储海量数据的基础上,实现用户所选数据的可视化呈现,即将数据转换为图像,以直观的方式向用户展示数据。基于常规技术的卫星系统采用B/S架构,使用Web2.。技术,采用单机服务器部署,并使用单机文件系统存储海量的气象卫星数据,实现了大图浏览、漫游、缩放、定位、图层叠加、导航、剖面图截取、调色板配置等等主要功能。服务器端主要采用JavaEE,Servlet和Spring等技术,实现数据到图像的转换以及图像的传输。客户端主要采用RIA的Flex技术,提供用户对数据的选择以及图像的呈现和处理。 1.2.可视化系统中的关键问题  尽管常规系统具备一定的实用性和可行性,但实际使用表明,该系统存在着J性能瓶颈,在并发访问用户较多的情况下,系统的响应速度较慢,尤其在用户请求大数据量的卫星数据时,系统的性能下降更加明显。事实上,气象卫星数据是海量的(每天的数据量达到TB数量级,且不断累积),如果仅使用单机文件系统进行存储,势必在存储能力和旧性能两个方面出现瓶颈;当用户请求大数据量的卫星数据时,系统在可视化(即将数据转换为图像)此类卫星数据时,需要进行大量的数据处理,消耗大量的资源。如果仅采用单机服务器部署模式,有限的服务器资源显然将会制约系统的数据处理能力。  1.3.可视化系统的并行解决方案  解决性能问题的主要方法是采用并行技术。本文在分析和研究当前主流的并行技术的基础之上,提出了基于并行技术的气象卫星海量数据并行可视化系统CParallelDataVisualizationSystemforMeteorologicalSatellite,以下简称PDVSMS)。PDVSMS采用多机服务器部署模式,利用Lustre}l}并行文件系统实现海量数据的并行存储,通过配置最佳的stripe_size实现数据高效的10操作;对于大数据量的客户请求,PDVSMS调用高性能计算集群进行数据的并行处理。1.4.本文的组织结构  第一章绪论,介绍了气象卫星海量数据动态可视化系统以及其面临的关键问题,并简单描述了并行化的解决方案。第二章并行技术分析,详细地分析了高性能计算集群技术、并行文件系统和并行算法。第三章卫星数据可视化系统的并行实现,详细地介绍PDVSMS的架构、高性能计算集群和Lustre并行文件系统的部署以及MPI并行算法的实现。第四章原型系统重构,介绍了PDVSMS中客户端和应用服务器端的实现。第五章系统性能测试,详细介绍了测试方案、测试程序的实现以及对实验结果的分析和比较。第六章总结与展望,总结了本文所完成的工作,并指出了进一步的改进PDVSMS性能可能的方向。 参考文献[1]  Wikipedia. Lustre (file system)[EB/OLJ.[2009-08-15J  Wensong.  Locality-Based Least Connections Scheduling [EB/OL].(2006-02-27)   Haxx. the multiprotocol file transfer library[EB/OL].[2009-08-17)   TOP500 SUPERCOMPUTER SITES.  Architecture Share Over Time [EB/OL].[2009-08-20]  摘要 7-8 Abstract 8 第1章 绪论 11-13     1.1.气象卫星海量数据的动态可视化 11     1.2.可视化系统中的关键问题 11-12     1.3.可视化系统的并行解决方案 12     1.4.本文的组织结构 12-13 第2章 并行技术概述 13-29     2.1.集群技术 13-20         2.1.1.高性能计算 13-17         2.1.2.高性能计算集群 17-20     2.2.并行文件系统 20-26         2.2.1.概述 20-23         2.2.2.Lustre并行文件系统 23-24         2.2.3.典型并行文件系统的比较 24-26     2.3.并行算法 26-29         2.3.1.概述 26-27         2.3.2.MPI并行算法 27-29 第3章 卫星数据可视化系统的并行实现 29-47     3.1.PDVSMS的整体架构 29-30     3.2.PDVSMS中的高性能计算 30-37         3.2.1.HPC集群的整体架构 30-32         3.2.2.HPC集群的软硬件配置 32-35         3.2.3.HPC集群处理流程 35-37     3.3.MPI可视化算法 37-43         3.3.1.分块算法 38-41         3.3.2.NDVI可视化算法 41-43     3.4.Lustre文件系统在PDVSMS中的应用 43-47         3.4.1.Lustre的组成 43-44         3.4.2.LNET的配置 44-45         3.4.3.stripe_size的确定 45-47 第4章 原型系统重构 47-54     4.1.应用服务器端的重构 47-51         4.1.1.应用服务器端概述 47-48         4.1.2.重构的实现 48-51     4.2.Flex客户端的重构 51-54         4.2.1.Flex客户端 51-52         4.2.2.重构的实现 52-54 第5章 PDVSMS的性能测试 54-69     5.1.测试方案 54-57         5.1.1.PDVSMS性能测试 55         5.1.2.常规系统+Lustre文件系统性能测试 55-56         5.1.3.常规系统性能测试 56         5.1.4.stripe_size测试 56-57     5.2.测试环境 57-59         5.2.1.硬件环境 57-58         5.2.2.软件环境 58-59     5.3.测试程序 59-62         5.3.1.综合性能测试实现 59-61         5.3.2.stripe_size测试实现 61-62     5.4.测试结果 62-65         5.4.1.综合性能测试结果 62-63         5.4.2.stripe_size测试结果 63-65     5.5.分析与结论 65-69         5.5.1.PDVSMS是有效的 65-66         5.5.2.MPI并行算法是有效的 66-67         5.5.3.Lustre文件系统存储是有效的 67         5.5.4.stripe_size的影响因素 67-69