摘 要： 在混合式P2P結(jié)構(gòu)的基礎(chǔ)上提出了P2P-Grid模型，把同類同屬性資源聚集到資源組，并建立資源組目錄樹。給出了一種可以避免Grid-Peer" title="Grid-Peer">Grid-Peer內(nèi)部任務(wù)扎堆現(xiàn)象的資源調(diào)度" title="資源調(diào)度">資源調(diào)度算法和Grid-Peer調(diào)度算法。
關(guān)鍵詞： P2P-Grid模型 Grid-Peer算法 資源組 資源調(diào)度 并行資源調(diào)度模型
目前，對結(jié)合P2P與Grid二種分布式計算技術(shù)的新型網(wǎng)絡(luò)結(jié)構(gòu)P2P-Grid方面的研究很少，且對P2P-Grid環(huán)境下資源調(diào)度機(jī)制的研究也不多見。P2P-Grid是作者針對現(xiàn)階段不同地區(qū)網(wǎng)絡(luò)之間的通信速度遠(yuǎn)遠(yuǎn)低于集群或局域網(wǎng)內(nèi)部的通信速度以及網(wǎng)絡(luò)環(huán)境下資源分布不均勻的情況，在混合式P2P結(jié)構(gòu)的基礎(chǔ)上提出來的。
在局部范圍內(nèi)把地理位置彼此相近的資源構(gòu)造成規(guī)模適當(dāng)?shù)?a class="cblue" href="http://www.jysgc.com/search/?q=網(wǎng)格系統(tǒng)" title="網(wǎng)格系統(tǒng)">網(wǎng)格系統(tǒng)，這些網(wǎng)格系統(tǒng)可看作是P2P-Grid的Grid-Peer(相當(dāng)于混合式P2P結(jié)構(gòu)中的Super-Peer)，并使用P2P技術(shù)組織這些Grid-Peer資源。充分利用二者各自的資源調(diào)度優(yōu)勢，在Grid-Peer集中式" title="集中式">集中式高效資源調(diào)度與Grid-Peer具備健壯性、可靠性和可用性的分布式資源調(diào)度之間達(dá)成一種平衡機(jī)制，并在各Grid-Peer之間以及Grid-Peer內(nèi)部分類的資源組之間形成對資源的多點(diǎn)并行調(diào)度機(jī)制，可有效地避免單一網(wǎng)格系統(tǒng)瓶頸的產(chǎn)生。
Gondor的匹配器使用集中式方式組織資源，負(fù)責(zé)資源提供者和資源請求者之間需求的匹配。Adriana Iamnitchi等人使用P2P模式分布式組織資源，并使用請求向前搜索的策略發(fā)現(xiàn)資源。中科院的織女星網(wǎng)格項目研究了基于路由轉(zhuǎn)發(fā)模型的資源發(fā)現(xiàn)方法和面向資源發(fā)現(xiàn)的VEGA體系結(jié)構(gòu)。
1 P2P-Grid模型
網(wǎng)格的特點(diǎn)及其最終面向最普通的計算機(jī)用戶的目標(biāo)，決定了網(wǎng)格系統(tǒng)不宜采用傳統(tǒng)的集中式資源管理模式。普通計算機(jī)位于互聯(lián)網(wǎng)的邊緣，且P2P技術(shù)處理這類資源已經(jīng)比較成熟。為把這類數(shù)量龐大的資源整合到網(wǎng)格系統(tǒng)中，結(jié)合P2P和Grid的互補(bǔ)性，可采用P2P-Grid模型[5][6]組織網(wǎng)絡(luò)環(huán)境下的資源。該P(yáng)2P-Grid模型依據(jù)銀行系統(tǒng)的運(yùn)作模式，采用“分而治之”的思想，把“單一網(wǎng)格系統(tǒng)”分割成若干處于對等地位的“小規(guī)模網(wǎng)格”系統(tǒng)，本文稱為Grid-Peer。每個Grid-Peer可使用不同網(wǎng)格技術(shù)管理所在域的資源，就如同P2P系統(tǒng)中計算機(jī)的操作系統(tǒng)可以互不相同。
2 Grid-Peer中基于聚集的資源組織[6]
2.1 基本概念
定義1 資源屬性值域[4]：R表示某資源任一屬性值所有可能取值為實(shí)數(shù)的集合，R上的值域定義為VA＝{x|r1≤x＜r2，x∈R，r1∈R，r2∈R}，則令VA＝[r1，r2]，VA為R的子集，表示VA由所有介于r1(可以等于r1)和r2之間的實(shí)數(shù)組成。
定義2 資源組：記錄資源屬性值在某個資源屬性值域范圍內(nèi)的資源集合的域。
定義3 計算能力" title="計算能力">計算能力：計算資源在單位時間內(nèi)運(yùn)算的次數(shù)。
定義4 CPU==[1G，2G]：CPU的主頻取值在1GB～2GB范圍內(nèi)。
定義5 Mem＝＝[64M，128M]：內(nèi)存容量取值在64MB～128MB之間。
定義6 預(yù)留資源：及時分配給在某個特定的時間段內(nèi)到來的任務(wù)，或某個資源出現(xiàn)故障時，準(zhǔn)備運(yùn)行遷移過來的任務(wù)的資源。
定義7 備份資源：正在運(yùn)行任務(wù)的資源出現(xiàn)故障時，替換該資源繼續(xù)運(yùn)行任務(wù)的資源。
定義8 任務(wù)扎堆：任務(wù)總是優(yōu)先占用被調(diào)度次數(shù)最多的資源的現(xiàn)象。
性質(zhì)1 同一資源組中資源具有的計算能力屬于規(guī)定該資源組CPU屬性值域的集合。
性質(zhì)2 同一資源組中資源具有的存儲容量屬于規(guī)定該資源組的內(nèi)存屬性值域的集合。
性質(zhì)3 同一資源組中的資源可以互為備份資源。
2.2 基于聚集的資源組目錄樹
資源的組織方式?jīng)Q定資源的發(fā)現(xiàn)、資源匹配和資源調(diào)度等其他的資源管理技術(shù)。而資源管理器為用戶選擇資源、匹配資源請求與具體資源的方法有很多種，不同的方法會影響資源的利用率和系統(tǒng)開銷。本文采用分布式與層次式結(jié)合的資源組織方式組織P2P-Grid環(huán)境下的資源。把計算資源按照接入到互聯(lián)網(wǎng)的方式和屬性分為HPC(高性能計算機(jī))、PC(桌面計算機(jī))和LAN(局域網(wǎng))三類。每類再根據(jù)資源屬性進(jìn)行細(xì)分并確立多個資源組。資源組中聚集的資源計算能力和存儲能力相當(dāng)。
LAN資源的組織形式如圖1(其他二類資源的組織類似)。
3 資源調(diào)度
3.1 并行資源調(diào)度模型
P2P-Grid的目標(biāo)是把網(wǎng)絡(luò)邊緣上的計算機(jī)利用起來，形成具有無窮處理能力的若干個虛擬超級計算機(jī)，即Grid-Peer。在Grid-Peer中，相對于要調(diào)度的任務(wù)而言，資源同樣需要調(diào)度。為完成用戶提交的任務(wù)和滿足用戶提出的要求，把Grid-Peer中所有可用資源(計算資源、存儲資源和網(wǎng)絡(luò)資源)進(jìn)行匹配，使用合理的資源分配方式和資源調(diào)度策略。調(diào)度策略是一些調(diào)度規(guī)則和算法 ，使應(yīng)用能夠按照規(guī)則找到最優(yōu)資源。其實(shí)質(zhì)是將n個相互獨(dú)立的任務(wù)分配到m個異構(gòu)可用資源，使得總?cè)蝿?wù)的完成時間最小且資源得到充分利用。
資源調(diào)度的方式有集中式調(diào)度和分布式調(diào)度二種。
(1)集中式調(diào)度：在網(wǎng)格中只有一個調(diào)度中心，負(fù)責(zé)調(diào)度網(wǎng)格中的所有資源。其優(yōu)點(diǎn)是調(diào)度系統(tǒng)知道網(wǎng)格中的所有資源，對于一個應(yīng)用可以產(chǎn)生高效的資源調(diào)度方案。缺點(diǎn)是：當(dāng)網(wǎng)絡(luò)比較大時，調(diào)度系統(tǒng)便很難掌握所有的資源，因此調(diào)度系統(tǒng)會成為瓶頸。例如，調(diào)度系統(tǒng)因?yàn)殄e誤出現(xiàn)故障，就會影響整個網(wǎng)格系統(tǒng)。集中式調(diào)度比較適合小型網(wǎng)格。
(2)分布式調(diào)度：有多個調(diào)度中心，各中心是平等的。優(yōu)點(diǎn)是健壯性、可靠性和可用性比較高。缺點(diǎn)是調(diào)度中心之間的通信量比較大，由于不能掌握網(wǎng)格中所有資源，很難找到全局最優(yōu)的資源分配方式。
由于P2P-Grid把單一網(wǎng)格系統(tǒng)拆分成多個小型網(wǎng)格系統(tǒng)(Grid-Peer)，因此減小了網(wǎng)格系統(tǒng)規(guī)模，并且Grid-Peer內(nèi)部可以使用集中式的資源管理方式。Grid-Peer使用P2P技術(shù)進(jìn)行信息交互、實(shí)現(xiàn)資源共享，構(gòu)成的P2P-Grid系統(tǒng)是一個分布式系統(tǒng)。因此，P2P-Grid系統(tǒng)是分布式和集中式系統(tǒng)的結(jié)合。作者結(jié)合集中式調(diào)度和分布式調(diào)度的優(yōu)點(diǎn)，設(shè)計了P2P-Grid環(huán)境下的基于聚集的并行資源調(diào)度模型。對整個P2P-Grid而言，每個Grid-Peer可同時調(diào)度資源，形成一種多點(diǎn)調(diào)度。同樣，在Grid-Peer內(nèi)部，資源調(diào)度系統(tǒng)可基于聚集的資源組并行地調(diào)度各資源組中的任務(wù)。把單一網(wǎng)格系統(tǒng)拆分重組成為P2P-Grid系統(tǒng)后，每個Grid-Peer系統(tǒng)所管理的資源數(shù)目比原來少了，從而解決了因?yàn)閱我坏木W(wǎng)格系統(tǒng)規(guī)模太大，難以掌握所有資源狀態(tài)以及屬性信息這一問題。原先單一網(wǎng)格系統(tǒng)負(fù)載由許許多多Grid-Peer分擔(dān)，不僅可解決系統(tǒng)任務(wù)請求時出現(xiàn)的瓶頸問題，也可快速發(fā)現(xiàn)任務(wù)所需資源，提高該任務(wù)的QoS。另外，可減小由于單一網(wǎng)格系統(tǒng)出錯而導(dǎo)致整個系統(tǒng)崩潰的概率。
拆分重組后的P2P-Grid系統(tǒng)中的每個Grid-Peer也是一個網(wǎng)格系統(tǒng)，其規(guī)模也會直接影響到Grid-Peer之間信息交流時的通信量。如果規(guī)模過小，P2P-Grid系統(tǒng)過于分布，必然會造成Grid-Peer之間任務(wù)頻繁地遷移，在網(wǎng)絡(luò)中產(chǎn)生大量的數(shù)據(jù)包。數(shù)據(jù)包過多，還可造成網(wǎng)絡(luò)擁塞，使P2P-Grid性能急劇下降。因此，設(shè)計P2P-Grid模型時應(yīng)把Grid-Peer規(guī)模設(shè)計成大小適中，既可以利用集中式調(diào)度機(jī)制高效產(chǎn)生資源調(diào)度方案，也可充分利用分布式調(diào)度具備的健壯性、可靠性和可用性等優(yōu)點(diǎn)。
P2P-Grid系統(tǒng)的資源調(diào)度具有以下特點(diǎn)：
(1)P2P-Grid系統(tǒng)不同于傳統(tǒng)的單機(jī)處理任務(wù)。在單臺計算機(jī)中可以利用的資源有限，一般都是任務(wù)等待少量計算資源，需要調(diào)度的是任務(wù)。而在Grid-Peer系統(tǒng)中，資源數(shù)量非常多，有時可能出現(xiàn)資源等待處理任務(wù)的情況。
(2)P2P-Grid系統(tǒng)中資源是動態(tài)變化的，隨著時間的變化，總有舊的資源推出和新的資源加入。
(3)P2P-Grid系統(tǒng)是由各種不同的管理域組成的異構(gòu)環(huán)境，系統(tǒng)中的資源調(diào)度程序不可能控制系統(tǒng)中的所有資源。
(4)為充分利用所有資源，需要避免任務(wù)競爭性能相對良好的資源。
因此，設(shè)計一個P2P-Grid環(huán)境下的資源調(diào)度模型會遇到以下難點(diǎn)：
(1)由于資源之間的關(guān)聯(lián)性，進(jìn)入Grid-Peer中的任務(wù)會與其他已經(jīng)在Grid-Peer中的任務(wù)競爭資源，造成任務(wù)之間的相互影響。因此，要找到滿足所有任務(wù)要求的最優(yōu)調(diào)度方案有時不大可能。
(2)由于P2P-Grid中的資源種類繁多，各種任務(wù)對資源的要求也各種各樣，所以很難用統(tǒng)一的尺度描述和度量其特征。
(3)P2P-Grid中對各種資源的約束很多是非線性的，要達(dá)到的調(diào)度目標(biāo)也很多，例如要求時間最少、代價最小、資源利用率最高等，并且有些目標(biāo)相互矛盾。對于這種多目標(biāo)多約束的問題，找到滿足所有約束和目標(biāo)的全局最優(yōu)解是很困難的。
資源組的概念是針對P2P-Grid系統(tǒng)資源調(diào)度的特點(diǎn)以及設(shè)計資源調(diào)度模型的難點(diǎn)提出的。屬于同一資源組中資源的物理屬性相近，故這些資源對同類任務(wù)具有相似的興趣。針對Grid-Peer系統(tǒng)的資源組織模型、任務(wù)調(diào)度模型以及相應(yīng)的資源發(fā)現(xiàn)機(jī)制，設(shè)計了如圖2所示的基于資源組模式的并行資源調(diào)度模型。
資源組是記錄性能相近的資源聚集成資源集合的一個域，資源調(diào)度完全根據(jù)層次式資源組目錄樹并行進(jìn)行。一般情況下，該任務(wù)請求哪類資源只需查找這類資源子樹，搜索一個或多個資源組中的資源進(jìn)行調(diào)度，并在給任務(wù)分配資源時，多預(yù)留一些實(shí)時可用的資源，作為分配資源的備份資源。
Grid-Peer系統(tǒng)資源管理模型中的HPC管理器、PC管理器和LAN管理器除了要管理其中的資源樹的邏輯信息外，還要針對每個資源組中的可用資源、正在運(yùn)行任務(wù)的資源以及備份資源進(jìn)行監(jiān)控，實(shí)時獲取資源最新的狀態(tài)信息，以便資源調(diào)度時不至于把任務(wù)分配到不能正常運(yùn)行的計算資源上。
Grid-Peer環(huán)境下的資源管理系統(tǒng)采用基于資源物理特性構(gòu)造的資源組目錄樹模型。Grid-Peer系統(tǒng)的資源按照其物理特性歸類，根據(jù)資源的處理能力分為：超級計算機(jī)、位于局域網(wǎng)中的計算機(jī)和單獨(dú)連接到互聯(lián)網(wǎng)的計算機(jī)三種計算類資源。資源的屬性信息分別組織在相應(yīng)的三類資源管理器中。每類資源根據(jù)其計算能力可以再分為幾個等級，例如：現(xiàn)在的桌面計算機(jī)的CPU主頻主要位于1GHz以下，1GHz以上、2GHz以下、2GHz以上、3GHz以下，如此類推。若任務(wù)請求資源對其主存能力有要求，可根據(jù)資源內(nèi)存容量繼續(xù)細(xì)分，詳見資源組目錄樹(圖1)。Grid-Peer系統(tǒng)的資源調(diào)度根據(jù)資源類別分別進(jìn)行，可減少資源的查找時間，提高資源與任務(wù)的匹配度，把更高處理能力的資源留給一些特殊的任務(wù)，使Grid-Peer系統(tǒng)的整體性能得到提高。
3.2 資源調(diào)度參數(shù)
下面介紹Grid-Peer系統(tǒng)內(nèi)部的資源調(diào)度參數(shù)和P2P-Grid系統(tǒng)對Grid-Peer調(diào)度所要用到的參數(shù)。
本地Grid-Peer系統(tǒng)的參數(shù)：Rg表示資源組；T表示資源已經(jīng)被調(diào)度的次數(shù)；Ht表示資源組中被調(diào)度次數(shù)最多的資源的調(diào)度次數(shù)；Bd表示資源所在的網(wǎng)絡(luò)帶寬，指HPC的集群計算機(jī)和LAN資源的內(nèi)部網(wǎng)絡(luò)帶寬；Hbd表示資源組中資源的最高帶寬，本文僅指HPC的集群計算機(jī)和LAN資源的內(nèi)部網(wǎng)絡(luò)帶寬；Rt表示在t時刻網(wǎng)絡(luò)通信速度；HRt表示訪問資源組中資源能夠達(dá)到的最高網(wǎng)絡(luò)通信速度；Cpu表示資源的計算能力，也就是該計算資源的主頻；Hcpu表示資源組中資源計算能力的最高上限，如資源樹中 表示“Cpu=＝[1G，2G]”這一資源組的Hcpu為2GHz。PRI表示調(diào)度優(yōu)先級。
在單個Grid-Peer系統(tǒng)中每個資源組由一個專用服務(wù)器負(fù)責(zé)管理，對其中可用資源按照被訪問時間、計算能力和使用頻率等綜合參數(shù)進(jìn)行優(yōu)先級排序。計算能力相同的，訪問時間越短，排序越靠前；計算能力和訪問時間相同的情況下，使用頻率高的反而排序靠后。充分挖掘出更多具有同等屬性的資源以均衡網(wǎng)絡(luò)流量，充分體現(xiàn)P2P-Grid的動態(tài)特征，因?yàn)樵L問時間隨信息流量不同而發(fā)生變化。
單個Grid-Peer系統(tǒng)中，不同資源組也可以使用該參數(shù)來制定該資源組內(nèi)部的資源調(diào)度策略，從而使得單個Grid-Peer中資源組管理資源信息的服務(wù)器能夠同時多點(diǎn)調(diào)度Grid-Peer系統(tǒng)中的資源，提高系統(tǒng)的工作效率。
P2P-Grid系統(tǒng)中Grid-Peer調(diào)度參數(shù)：L表示Grid-Peer的系統(tǒng)負(fù)載；Time表示搜索到Grid-Peer所用的時間；Ltime表示搜索到Grid-Peer所用的最長時間；PRIGrid-Peer為調(diào)度Grid-Peer的優(yōu)先級。
3.3 資源調(diào)度過程和算法
(1)根據(jù)提交任務(wù)的屬性決定選擇三種資源中的那一類，然后在相應(yīng)信息資源管理器中查找初步滿意的資源集，同時，資源調(diào)度管理者還需檢查可用資源隊列中的資源。若可用資源隊列中具有最高優(yōu)先級的資源之優(yōu)先級超過了0.5，則可以選擇此資源作為此次被調(diào)度的資源；否則等待計算從資源管理器中所發(fā)現(xiàn)資源的優(yōu)先級。這兩項操作是同時進(jìn)行的,可以減少資源的相對發(fā)現(xiàn)時間。
(2)根據(jù)資源所在的位置、網(wǎng)絡(luò)流量、帶寬、資源使用率、資源計算能力等參數(shù)，決定資源調(diào)度的次序。假定資源調(diào)度最高級別的權(quán)值為1，資源的計算能力由cpu的主頻決定，多cpu采用累加的形式計算。則資源調(diào)度優(yōu)先級為：
PRI＝Cpu/Hcpu×80%+Bd/Hbd×10%+Rt/HRt×5%-T/Ht×5%
最后一項對調(diào)度次數(shù)進(jìn)行加權(quán)處理，可避免任務(wù)總是搶占被調(diào)度次數(shù)較多的資源，造成這些資源附近網(wǎng)絡(luò)流量過大；還可以充分挖掘出更多新注冊的資源，有效均衡網(wǎng)絡(luò)流量，避免網(wǎng)絡(luò)阻塞。
(3)計算出所查找資源組中初步滿意的各資源級別，比較本次最高級別與可用資源隊列中最高優(yōu)先級資源級別，選擇級別高的資源作為此次被調(diào)度的資源來處理提交的任務(wù)，并把計算出來的結(jié)果返回給用戶，記錄加1后的調(diào)度次數(shù)和被調(diào)度的時間，按照資源調(diào)度方法回收該資源，保存在可用資源隊列中，等待下一次的調(diào)度。其中調(diào)度時間相當(dāng)重要，因?yàn)镚rid-Peer環(huán)境下的資源具有動態(tài)特性，此次確定的優(yōu)先級在以后某個時間段將會發(fā)生很大的變化。如果發(fā)現(xiàn)兩個資源的優(yōu)先級相等，則選擇最近被調(diào)度的資源去處理提交的任務(wù)。
全局P2P-Grid環(huán)境下的資源調(diào)度實(shí)際上是對所發(fā)現(xiàn)的Grid-Peer進(jìn)行調(diào)度。如何選擇Grid-Peer進(jìn)行任務(wù)遷移，還要根據(jù)該Grid-Peer系統(tǒng)負(fù)載及本地Grid-Peer到遠(yuǎn)程Grid-Peer之間通信速度的影響確定。在本地Grid-Peer系統(tǒng)中采用聚集資源組的方式調(diào)度本地資源，而在P2P-Grid系統(tǒng)中采用泛洪算法發(fā)現(xiàn)滿足條件的Grid-Peer，然后在這些Grid-Peer中選擇一個合適的Grid-Peer。
向本地Grid-Peer系統(tǒng)提交任務(wù)時，可能會遇到本地Grid-Peer系統(tǒng)負(fù)載過重，不能滿足用戶QoS需求的情況。此時，本地Grid-Peer就需要向其他的遠(yuǎn)程Grid-Peer轉(zhuǎn)移任務(wù)。這種情況需要查找具有最佳處理能力的Grid-Peer，并把任務(wù)遷移到這個最佳的Grid-Peer。Grid-Peer調(diào)度最主要的就是在所發(fā)現(xiàn)的Grid-Peer集合中選擇某個合適的超級Peer。Grid-Peer處理完任務(wù)后直接向用戶返回結(jié)果。
QoS指標(biāo)是指Grid-Peer對轉(zhuǎn)移到來的任務(wù)的服務(wù)質(zhì)量，由處理結(jié)果精確性和任務(wù)處理時間兩個參數(shù)來決定。當(dāng)本地Grid-Peer在某個時間段內(nèi)接收到返回的查找信息后，根據(jù)返回時間的長短和被返回系統(tǒng)內(nèi)在的處理能力來決定把任務(wù)轉(zhuǎn)移到某個Grid-Peer。選擇具有最高調(diào)度優(yōu)先級的Grid-Peer來遷移本系統(tǒng)中的任務(wù)，Grid-Peer的優(yōu)先級為：
PRIGrid-Peer＝(1-Time/Ltime)×10％+90％×(1-L)
網(wǎng)格技術(shù)和P2P技術(shù)已經(jīng)成為高性能計算領(lǐng)域的研究熱點(diǎn)，結(jié)合P2P和Grid的P2P-Grid也將逐漸成為高性能計算研究中的一個熱點(diǎn)。本文在確定P2P-Grid的資源組織模型，即基于聚集的層次式資源組目錄樹之后，設(shè)計了基于資源組的并行資源調(diào)度模型。本模型為整個P2P-Grid系統(tǒng)中網(wǎng)格資源調(diào)度模型的一個雛形，今后還有很多方面需進(jìn)一步的研究。
參考文獻(xiàn)
1 Raman R，Livny M，Solomon M.Matchmaking：distributed resource management for high throughput computing.In：Proc. of the 7th IEEE Int′l Symp.on High Performance Distributed Computing.Chicago，IL，USA，1998
2 Gong YL，Dong F P，Li W et al.VEGA Infrastructure for Resource Discovery in Grids.J.Compute.Sci.&Technol，2003；18(4)
3 徐志偉，馮百明，李偉.網(wǎng)格計算技術(shù).北京：電子工業(yè)出版社，2004
4 周曉，陳鳴.基于散列值的廣域網(wǎng)服務(wù)發(fā)現(xiàn).軟件學(xué)報，2004；15(10)
5 葉從歡，江武漢，孫世新.P2P與Grid的結(jié)合：P2P-Grid模型研究.微型機(jī)與應(yīng)用，2005；24(5)
6 葉從歡.P2P-Grid環(huán)境下的一種新的資源組織方法.微型機(jī)與應(yīng)用，2005；24(12)