2312字论文范文基于自适应电源管理的高性能计算机作业调度策略研究

论文类型：论文范文

论文字数：2312字

论点：作业,节点,负载

论文概述：

本文提出了一种基于自适应功耗管理的高性能计算机作业调度策略。该策略能有效提高整机能效，与传统作业调度策略相比能节约9%以上的能耗。

论文正文：

1.自适应电源管理

在研究高性能计算机系统的节能管理和调度策略时，必须考虑以下几个方面:
(1)周期性:分析系统整体负荷的变化，找出周期性现象，预测负荷变化，并据此储备相关资源。通常，通过计算负荷变化的自相关函数来进行分析。
(2)连续性:分析系统负载变化的连续性特征，通过分析任务开始执行前几个任务周期的负载变化趋势，预测任务产生的负载，从而配置计算资源。
(3)节点服务器之间的通信开销:根据任务功耗进行调度时，预测任务之间的通信量，并考虑不同节点的通信能力对任务处理时间的影响。
(4)数据相关性:在科学计算中，任务的处理时间与输入数据和采用的计算方法密切相关。在预测任务处理时间和所需功耗时，应考虑输入数据的影响。
(5)节点异构性:当虚拟机管理程序分配任务时，它可以使用一组异构节点来联合处理任务。由于处理能力的差异，性能优越的节点会等待低速节点，从而增加任务的总处理功耗。因此，有必要考虑节点之间的相互影响。

1.1作业能效的计算
作业负载除以运行作业时产生的能耗即为作业能效。其中，能耗可以通过监控获得，而工作负荷包括计算、通信、输入输出等负荷的总和。，可以通过计算得到。任务通信开销主要指并行计算中节点间的通信需求，与应用相关。例如，石油工业的计算任务在数据输入和最终结果汇总阶段有大量的通信，而每个节点在计算过程中有少量的通信，而一些工业计算任务在计算过程中通信非常频繁，并且对节点之间的通信延迟非常敏感。此外，还可以根据应用程序和输入数据文件的大小来估计负载。

1.2收购周期
并非所有工作都有周期。对于负载平衡应用，时间周期是显而易见的，有必要根据负载变化来确定时间周期。为了快速获得周期的长度，可以通过峰值之间的时间间隔来估计。过程如下:1)确定要分析的时间段，例如过去一周；2)确定时间段的上限m，例如两天；3)选择n个极限值，n应该是时间长度的整数倍，例如14 (7x2)个最大值；4)取任意两个极限值之间的时间间隔m，计算离散自相关函数:r (m) = 1n ∑ n-1n = 0s1 (n) S2 (n+m)，其中0 ≤ m ≤ m，r越大，周期性越强，s代表任务负载，n代表样本数。如果R的最大值大于阈值，则相应的M作为周期长度；5)根据周期长度预测负荷变化。当同一任务连续发生时，有必要分析连续性因素，并根据前一任务的负荷变化趋势预测当前任务产生的负荷。例如，如果最近一个任务周期的负载为100，并且最近5个任务周期中相邻周的负载最大波动为20，则当前周期开始时的任务负载为120 (100+20 * 100%)，基于此计算任务的功耗和运行时间并分配资源。

1.3时限控制
时限是从用户的角度分析问题，考虑任务的紧迫性，通过调整节点的运行速度，在满足要求的前提下降低功耗。时间限制可以由用户指定，也可以由管理程序自动选择，以优化运行时间和功耗。过程如下:1)预测任务产生的负载；2)计算1号节点上任务的运行时间t1和2号节点的运行时间T2；3)计算不同节点运行任务产生的P1和P2功耗；4)选择功耗较低的节点来运行任务，t1 > T2，但P1 < p2是可能的。此时，尽管节点1运行缓慢，但由于其低功耗，它更适合运行该任务。

2。基于遗传算法的自适应功耗调度策略

作业调度问题可以描述为:高性能计算机有M个节点，作业调度队列有N个任务。分配方案如何才能达到最高的能效比率？本文采用了一种基于遗传算法的自适应功耗调度策略。遗传算法(Genetic algorithm)是一种自适应全局优化概率搜索算法，是通过模拟自然环境中生物体的遗传和进化过程而形成的。它将问题的解表达为适者生存的过程，通过染色体组的连续几代进化，包括重复、交叉、变异等操作，直到满足一定的性能指标，收敛条件终止，获得问题的最优或满意解。

3。性能赋值

我们采用基于遗传算法的功耗调度策略，对PBS+毛伊岛作业管理和作业管理进行了对比测试。对于同一组作业，以上两种方法用于测试其作业响应时间、作业最大响应时间、系统吞吐率、系统能耗等指标。PBS+Maui使用机器优先级(Machine Prio)调度算法，即根据系统中所有节点的配置，从主频、内存、硬盘、网络带宽等方面评估节点性能。，并获得相应的节点性能质量指标来评估节点优先级。调度时，根据作业需求，找出满足作业需求的优先级最高的节点，每次作为作业的操作节点。在当前无法运行的作业被调度后，在调度作业执行之前，对后续作业进行扫描和回填执行，而不影响调度作业的执行，从而提高系统利用率和系统性能。
基于遗传算法的功耗调度策略，根据过滤后的大作业构建初始种群，每个基因包含作业编号、用于作业操作的节点服务器和内核编号、作业开始时间等信息。评估每项工作的能量效率比，根据交叉概率选择需要交叉的个体，对个体进行交叉，评估每个基因中节点的能量效率。每个节点被基因保留的概率是该节点的能量效率比除以该基因所有节点的能量效率比之和。能效比率越高，节点被保留的可能性就越大。找到并提交了一个相对较好的工作顺序，可以最大限度地降低系统能耗。
定义10个不同大小的作业，构建作业序列，并对测试中使用的作业执行多线程算术运算。线程的数量可以控制。每个线程可以将一个内核的利用率提高到100%，节点的平均CPU利用率可以通过线程数来控制。基于PBS+maui调度，运行5组测试，基于遗传算法，运行一组功耗调度测试。测试数据列于表2。图4示出了5组PBS+maui测试结果的平均值与基于遗传算法的功耗调度测试结果之间的比较。可以看出，与PBS+毛伊作业调度相比，基于遗传算法的功耗调度平均响应时间减少了14.96%，最大响应时间减少了19.51%，作业吞吐率减少了13.29%，运行时间减少了9.85%，节能9.67%，优势明显。