进程迁徙的动态调度.pdf

进程迁徙的动态调度 Cong Du, Xian-He Sun, and Ming Wu 计算机科学系 伊利诺理工学院 芝加哥，伊利诺伊州，美国 邮箱： {ducong, sun, wuming}@iit.edu 摘要： 进程迁移是必要的运行时负载平衡。在网格和共享网络环境下，负载不平衡，不仅仅是因 为底层应用程序，同时还是因为动态性资源可用性的波动。在共享的网络环境中，目标需要经常 去重新安排从而去适应资源的可用性的变化。不像传统的任务调度，动态重新安排不得不考虑其 过程迁移的成本在制定公式中。在这项研究中，我们首先建立一个迁移成本的模型，同时引入一 个有效的方法来预测成本。然后，我们引入动态调度机制，假设迁移成本以及其他常规性能的影 响因素在共享，异构环境的优化是相同的。最后，我们通过实验测试去验证分析结果。实验结果 表明，动态调度系统的建议是可行的，并且大大提高了系统的性能。 介绍 : 许多分布式环境已被开发以满足更多的计算能力的需求。 Condor, NetSolve, Nimrod, and the Grid environment [14] 。在这些系统中的资源是异质性的并且被不同的用户群共享。每个资源或组 织可能有其自己的资源管理政策和资源的使用模式。中央控制这种模式并没有在资源管理中出现 过。在这些环境中去收获网格计算需要一个持续的动态重排的网格目标，从而去适应当地控制的 计算资源的可用性。同时，除了负载平衡之外，以移动为基础的动态调度也有利于动态网格的管 理 [19] 特别是机器加入或离开，资源成本的变化，和当地任务的收购。 一个适当的重新安排应当考虑迁移成本。特别是在分布式和异构的环境中，大量的计算资 源能够被获得任何特定时间，但相关的迁移成本很大程度上会有所不同。虽然大家都想找到建模 和估计迁移成本的有效和广泛适用的解决方案，但是，一直难以实现。即使是可用的，但是将集 成的迁移成本纳入动态调度系统仍然是一个具有挑战性的任务。根据我们多年的经验在进程迁移 [8] 和任务调度 [24] 中，我们在这项研究中提出了一种集成的解决方案。 迁移为基础的动态设计调度有四个方面：重新安排的触发，迁移成本模型，任务调度和参 数测量。 我们提出了一个重新安排触发系统 [10] 。在本文中，我们把重点放在其余三个问题。我们选 择分析迁移成本基于我们的 HPCM （高性能计算移动）中间件 [12] 。 HPCM 是根据 NSF 首先发布的一 个中间件。它有一个复杂的结构，以支持减少过程状态和流水线通信 / 执行为高效的进程迁移。所有的 参数迁移成本模型是通过监测测在运行时的系统和应用程序的运行状态所建立的。由于 HPCM ，分析 的复杂性在这项研究的结果可以扩展到其他现有的迁移和检查点系统。在估计迁移成本的基础上，我 们开发集成动态调度系统从而去优化应用程序的性能。 在下一节中，我们给出了一个相关的概述工作。在第 3 节，我们简要地描述过程迁移机制和模 式的迁移成本。动态调度算法在第 4 节中将会介绍。实验和参数测量方法是在第 5 。结论和今后的工 作是在第 6 节讨论。 相关工作： 不同的任务调度策略已被用于分布式共享环境。 Condor 系统 [20] 采用了配对机制用 ClassAds 来分配资 源与。调度策略是基于匹配用户对他们的工作规范要求和喜好，与机器 特点，可用性和情况。进程迁“ 移是以检查点为基础的机制。然而，这并不支持运行时迁移在异构的进程环境。 AppLeS [5] 是一个众 所周知的的任务在网格计算的调度系统中。它采用了循环时间表去表现元任务的子任务的任务事件动 态。虽然它可以重新安排未开始的子