> 论文范文 > 25000字论文范文基于虚拟技术的集群自适应能耗管理

25000字论文范文基于虚拟技术的集群自适应能耗管理

论文类型:论文范文
论文字数:25000字
论点:数据中心,虚拟机,能耗
论文概述:

针对现存的云资源管理框架都具有的不足,本文作者提出了CREMS系统,在运行时监视虚拟机资源,并动态地根据虚拟机应用的负载整合虚拟机资源。

论文正文:

第一章引言

1.1研究背景和意义
计算机行业的研究重点一直是如何提高系统的性能。基于摩尔定律(Moore Law),计算机的性能一直呈线性增长,计算机消耗的能量也一直在增长。随着信息技术的飞速发展,各行各业越来越依赖信息系统。在这种趋势下,作为提供所需服务的信息技术基础设施,大型数据中心的建设规模和推广力度有所提高空。云计算的兴起和发展进一步增强了数据中心的重要性。
社会需求极大地推动了大型数据中心的发展,但其高能耗一直是制约其发展的关键因素,巨大能耗产生的二氧化碳也将对环境产生巨大影响,这也是各国十分关注的问题。根据美国联邦环境保护署2007年的一份报告,2006年美国数据中心的耗电量占美国总耗电量的1.5%,2011年[1]的总耗电量将再次翻倍。2007年,西欧数据中心的功耗比2006年增加了13%。根据国际数据中心的报告《[2》,在过去的几十年里,数据中心的计算和冷却消耗的能量增加了400%,这个数字还将继续增加。目前,信息技术硬件和数据中心高功耗导致的碳排放问题已成为全球碳排放的主要来源之一,约占全球二氧化碳排放量的2%,相当于整个航空空行业的二氧化碳排放量。能源消耗成本已成为信息技术行业运营成本的30%至50%。根据权威预测,服务器在服务期间的总能耗将高于其硬件成本。控制和降低数据中心能耗的技术领域已成为工业界和学术界的研究热点。
为了减少巨大能源消耗造成的各种问题,各国政府一方面大力投资开发新能源技术,另一方面鼓励实施节能计划。美国已授权美国环境保护局(EPA)通过该法案对数据中心能耗的增长进行分析和研究,并提出了一系列降低能耗的措施[3]。欧盟还发布了一项指令,要求到2020年将数据中心的总能耗降低20%。随着中国经济的快速发展,其对计算和存储的需求也在以两位数的速度增长。近年来,一方面,中国进行了第一代数据中心的大规模改造和扩建,另一方面,中国正在加快第二代数据中心的建设。然而,PUE(该国大多数数据的核心功效)相对较低。一项研究表明,中国每次发电,平均排放0.96克二氧化碳,远远高于国际平均水平。由此可见,绿色数据中心的建设将有助于中国履行减少二氧化碳排放、提高能源效率和减少环境污染的承诺。

1.2研究目标
本文旨在提出一种基于虚拟化技术的资源管理方法。针对虚拟化数据中心的能耗管理问题,构建了一个新的资源管理框架,用于收集数据中心服务器的动态能耗数据。在保证服务质量的前提下,通过动态迁移虚拟机和打开和关闭物理机来实现数据中心能耗的优化。本课题还将搭建原型测试平台,为未来大型绿色数据中心的建设提供理论和关键技术支持。具体工作如下:
1)为虚拟化数据中心构建新型全球资源管理系统。该系统将数据中心的所有物理机和虚拟机抽象成一个资源池,可以及时获得每个物理机和池中虚拟机的虚拟机中应用的CPU利用率、内存利用率和服务质量。
2)实现数据中心全球资源的动态合理配置。根据收集到的虚拟机状态信息和虚拟机中应用程序的服务质量信息,针对服务质量的要求,预测所需的物理机资源集,针对数据中心实时负载变化的特点,通过负载整合、动态迁移、在线唤醒等策略提高整个系统的资源利用率,进而降低功耗。
3)设计数据采集设备,开发图形显示界面,实时显示数据中心能耗的动态变化。根据收集到的数据索引,设计智能调度算法,动态调整分配给每个虚拟机的资源,实时调整物理机的功耗和性能状态,使资源分配具有实时性和准确性。

1.3国内外研究现状
1.3.1概述
目前,大多数企业根据最高负载部署服务器,以确保其服务质量。然而,一项国际商用机器公司的调查显示,对于一天中的服务请求,服务器只能在非常短的时间内满负荷运行,这导致数据中心的资源利用率非常低。研究表明,大多数数据中心的平均利用率在3%到30%之间。然而,在低利用率条件下服务器消耗的能量与满负荷时的能量之间的差异非常小。无论服务器是一直在使用还是运行了20%的时间,消耗的能量和释放的热量基本相同,这意味着大部分能量被浪费了。
目前对数据中心服务器节能的研究主要集中在以下几个方面:
1)功率封顶[4-7]:通过服务器能耗的动态设置或封顶,可以帮助用户重新分配数据中心的冷却和电源资源。用户可以根据服务器监视器的最大实际功耗设置峰值能耗,减少不必要的过度供电,并将节省的电能重新分配给新系统。也就是说,在总功率确定的情况下,功耗封顶允许用户向数据中心添加更多的机器。
2)服务器整合[8-10]:这是目前常用的方法。其核心理念是通过对资源进行优先排序,并根据需求将信息技术系统资源分配给最需要的工作负载,从而简化管理并提高效率,从而减少为单个工作负载高峰预留的资源,减少服务器数量,提高服务器利用率,降低数据中心能耗,降低硬件购置成本,减少数据中心占用的空,提高维护人员的工作效率,并能够快速部署新应用。

第二章数据中心能耗管理现状

由于数据中心本身能耗巨大,能耗管理技术一直是数据中心管理领域的研究热点。许多以前的研究结果已经在降低数据中心功耗方面得到验证,但这些结果通常只能应用于传统数据中心。在当前大多数数据中心都是基于虚拟化技术构建的情况下,如何在虚拟化环境中有效管理数据中心的能耗是当前功耗管理领域的一大难点。本章首先简要介绍了虚拟化技术,然后分析了虚拟化技术在数据中心中的应用,重点介绍了其在功耗控制中的作用,然后介绍了几种与虚拟化技术相关的常见能耗管理框架,因为近年来,虚拟化数据中心的资源管理在降低数据中心功耗管理中发挥着越来越重要的作用,所以最后将介绍一些虚拟化数据中心的常见资源管理软件。

第三章CREMS系统的设计与实现.....................................................................25
3.1 CREMS系统简介....................................................................................25
3.2云资源管理软件开放内布拉..................................................................................25
3.2.1开放式内布拉结构简介....................................................................................25
3.2.2开放式内布拉的优势和劣势.........................................................................28
3.3 CREMS系统的原理和实施.........................................................................29
3.3.1基本设计理念....................................................................................29
3.3.2系统流程..............................................................................................30
3.3.3 CREMS绩效经理.................................................................................31
3.3.4 CREMS调度经理.................................................................................32
3.3.5虚拟机迁移的实现机制..................................................................................34
3.3.6物理机功耗状态调整..................................................................................35
3.4本章概述.....................................................................................................36
第四章实验环境的建立和数据分析....................................................................37
4.1导言................................................................................37
4.2 CPU利用率和功耗之间的关系....................................................................37
4.3 CREMS系统负载发生器.........................................................................38
4.4大楼...................................................................................................41在实验环境中
4.5中央处理器预测器性能评估..................................................................................41
4.6 CREMS调度程序性能验证....................................................................................42
4.7 CREMS能耗评估......................................................................................43
4.8本章概述..........................................................46
第五章工作总结和展望............................................................46

第五章工作总结和前景

针对现有云资源管理框架的不足,本文提出CREMS系统,该系统在运行时监控虚拟机资源,并根据虚拟机应用程序的负载动态集成虚拟机资源。首先,CREMS系统改变了现有云资源管理器查看虚拟机的方式。虚拟机不再被视为任务,虚拟机的开始和结束也不再被视为任务的开始和停止。据信,虚拟机会被持续执行很长一段时间,在此期间,虚拟机资源利用率的动态变化被持续监控,并且进行预测以确定虚拟机需要多少物理资源。CREMS系统使用响应时间作为描述应用程序性能的指标,响应时间在网页或数据库等服务器应用程序中很常见。根据该指标和CRES监控的动态变化虚拟机的资源利用率,CRES做出合理的资源需求预测。应用层获得预测服务器负载后,根据预测负载调整虚拟机的资源分配,通过调用Xen的实时迁移虚拟机动态迁移来重新定位虚拟机位置。当物理机器资源空空闲时,CREMS可以将其关闭以节省能源,动态地将空空闲的物理服务器转为待机状态,并在必要时通过WOL(唤醒在线)自动唤醒物理服务器。在由4台物理服务器和8台虚拟机组成的集群上长达8小时的实验表明,CREMS系统有效降低了系统的整体能耗,节省了约12%的能源。为了使CREMS适用于更广泛的应用场景,还有一些工作需要在将来改进。例如,当前的工作是在同构虚拟机上执行负载调整和虚拟机迁移,而不考虑异构系统的情况。此外,CREMS调度系统只能用于已部署的正在运行的虚拟机。将来,它希望在虚拟机的快速部署方面取得突破。例如,它希望能够通过虚拟机模板将多个虚拟机快速部署到服务器集群,并且还需要设计更高效的调度算法。

参考资料:
[1]刘杰、赵峰、刘学、温伯河。挑战2009:65-72。
[2]互联网数据中心关于在经济时代优化基础设施和服务器管理的报告。
[3]美国环保署向国会提交的关于服务器和数据中心能效的报告(公法109-431)。2007.
[4]范晓波,沃尔夫-迪特里希·韦伯,路易斯·安德列·巴罗佐。一台主机大小的计算机的电源供应。2007年第34届国际计算机体系结构研讨会。
[5]韦斯利·费尔特、卡尔希·拉贾马尼、汤姆·凯勒、科斯明·鲁苏。降低服务器系统峰值功耗的节能方法。第19届超级计算国际年会论文集,ICS 2005。
[6]拉姆亚·拉海瓦德拉,帕萨萨拉西·阮冈纳赞,消失塔尔瓦,王志奎,朱晓云。没有“权力”斗争:数据中心的协调多级权力管理。第十三届国际程序语言和操作系统体系结构支持会议录,ASPLOS 2008。
[7]查尔斯·勒弗吉,王晓睿,马尔科姆·韦尔。权力封顶:权力转移的前奏。集群计算,2008:183-195
[8]斯里坎塔亚,甘萨尔,赵福林。云计算的能源感知整合。2008年在OSDI举行的USENIX热功率功率感知计算和系统研讨会。
[9]若尔迪·托雷斯、大卫·卡雷拉、凯文·霍根、理查德·加瓦尔达、维森特·贝尔特兰、尼科尔\'波吉。减少资源浪费,帮助实现绿色数据中心。第22届国际并行和分布式处理会议,2008。
[10]卡尔斯顿·施万·里帕尔·纳特胡吉。虚拟电源:虚拟企业系统中的协调电源管理。第21届美国计算机学会操作系统原理研讨会论文集,2007年,SOSP