摘 要： 采用Intel Xeon LV處理器，利用先進的EDA工具和仿真軟件進行高速串行總線的合理布局布線，實現了一種支持多主并行處理的加固計算機。根據應用，構建了基于高速互連網絡的計算機硬件系統，結合成熟的商用并行軟件，對計算機系統并行能力進行了測試；針對抗惡劣環境應用，特別是熱設計，通過熱分析、建模仿真（Icepak）等手段，實現計算機系統的環境設計。
關鍵詞： 并行； 加固； 高速串行； 熱分析
隨著國防裝備信息化的發展，對計算性能的要求也越來越高，要求計算機具備強數據處理能力、數據計算能力、數據存儲能力等，采用分布式多主并行處理等高性能工作方式進行全方位大量的信息處理。高性能則要求計算單元性能高、互連總線帶寬高、具備管理監控功能和合理的計算機處理軟件體系結構[1]。由此帶來了高密度、高功耗的電氣和結構設計，對尺寸、重量、高溫、低溫、振動、沖擊、電磁兼容性等有特殊要求的應用場合及對電氣和結構抗惡劣環境設計均提出了更高的要求。但目前很多國內抗惡劣環境高性能計算機系統都是由采購產品之后的二次加固形成，其實用性、可靠性和適應性較差。本文從硬軟件設計、抗惡劣環境設計等方面介紹了高性能抗惡劣計算機的設計和實現，以及對此計算機進行并行計算能力測試結果。
1 硬件設計
多主并行處理加固計算機由控制和計算模塊、直通網絡模塊、交換網絡模塊、冗余管理模塊、冗余電源、風扇以及機箱、底板等組成。控制和計算模塊之間通過背板的千兆以太網互連進行數據交換，管理模塊符合智能型平臺管理接口IPMI規范1.5版本及以上版本，進行機箱內硬件管理，且具備冗余的管理模塊;管理模塊同時實現計算刀片的KVM切換功能，方便現場工作人員的操作，用1套鍵盤、鼠標、顯示實現對幾個控制和計算模塊的人機接口管理。同時多主并行處理加固計算機還具備冗余的電源、風扇等。在實際工作中，通過直通網絡模塊、交換網絡模塊允許進行各種互聯配置。以并行計算為例，允許采用2套網絡實現雙網分離、專網專用，如計算網絡、數據網絡和計算控制網絡分離，實現專網專用，提高了整體性能，達到了備份高可用的目的。
1.1 控制和計算模塊設計
控制和計算模塊是標準6U模塊，實現雙CPU組建SMP架構。采用雙核Intel Xeon Processor LV(主頻2.0 GHz），同時處理器板兼容Intel Xeon Processor LV(主頻2.0 GHz），北橋芯片為Intel E7520，南橋芯片為6300ESB，板載2 GB 雙通道DDRII-400內存，提供ECC校驗，板載2塊SATA硬盤，雙千兆以太網絡支持PICMG 3.1規范。其原理框圖如圖1所示。
1.2 高速電路設計
硬件設計中的關鍵是高速電路設計，特別是基于PCI Express總線的電路，對于高速電路的PCB設計，必須在電路設計前后采用仿真工具進行驗證和確認。
(1)阻抗控制。PCI Express規范要求走線阻抗為100 Ω差分阻抗。阻抗主要由線寬、線間距、銅皮厚度、介質層厚度、介質材料等決定。經計算特征阻抗為94.5 Ω，可滿足要求。
(2)損耗。圖2是在模塊表層走線寬度為0.152 4 mm、走線間距為0.152 4 mm，走線厚度為0.101 6 mm，走線長度為0.508 m的情況下進行仿真得到符合要求的驅動端視圖。
(3)后仿真的實現。后仿真主要是在PCB繪制完成后,在前仿真的基礎上將PCB相關的數據導入后再進行的仿真,其仿真結果如圖3所示，信號幅度在接收器可以識別的范圍之內可滿足要求。
2 軟件設計
多主并行處理加固計算機軟件包括應用軟件、操作系統、硬件模塊支持軟件3個層次，各層之間相對獨立，支持各層軟硬件的獨立升級，系統配置與運行管理提供功能分區定義與安全策略框架。硬件模塊支持軟件層包括控制和計算模塊的板級支持包、網絡交換通信包。操作系統層包括并行處理操作系統、多處理器協同控制及軟件動態下載和功能重組,支持分布式處理、SMP雙CPU、多CPU／DSP結構等，能夠進行故障定位、隔離、健康管理、支持應用軟件動態遷移。應用軟件層包括任務處理軟件和任務管理軟件[2]。多主并行處理加固計算機利用成熟的商用軟件和函數庫[3]，在操作系統上構建并行環境和并行程序編制測試等。
建立并行環境主要包括：適用的操作系統(Linux)部署使用，統一IP和DNS的網絡配置和組網，方便用戶提交任務和管理操作的通信協議SSH的使用和單一登錄構建，基于MPICH2的并行編程函數庫的編譯、安裝和配置，基于網絡文件系統(NFS)的登錄和共享的單一文件系統構建等。
3 抗惡劣環境設計
根據多主并行處理加固計算機主模塊多、功耗大的特點，在抗惡劣環境設計中主要包括計算機系統的散熱設計、減振抗沖擊設計、電磁兼容性設計、防腐防潮設計等。計算機系統的整體功耗較大，帶來高溫工作性能挑戰，因此此節主要對散熱設計進行說明。
計算機系統采用強迫風冷方式。對于機箱里的硬盤模塊、電源模塊、控制和計算模塊等均有各自獨立的散熱系統和風道。機箱為半密封式機箱，根據系統發熱功率的峰值為800 W、控制和計算模塊CPU的熱流密度的峰值為7.6 W/cm2(9.5 W/cm2×0.8)、模塊上主要芯片的熱流密度，采用強迫對流散熱方式。模塊上芯片的熱量主要通過傳導散熱方式經過導熱膠墊把大部分熱量傳導到型材散熱片，再通過對流換熱經空氣排到箱體外部，機箱前部裝有5個渦流鼓風風扇，以提高主要熱源的熱交換速度，保證系統在規定的溫度范圍正常工作。系統總體構架初步搭建完成后，使用Icepak軟件對機箱散熱系統進行仿真分析，驗證系統的換熱能力，論證風路分布的合理性，以保證可靠的系統散熱效果。根據計算機配置，所建模型如圖4所示。
圖4為去掉機箱上蓋板、右蓋板、前蓋板等零件后的內部剖視圖，5個鼓風風扇分別對應主要熱源：電源模塊、CPU模塊、硬盤模塊。發熱器件主要參數如下：控制和計算模塊的發熱量約為80 W(單個)，電源發熱量為45 W(單個)。通過仿真分析發現：整機內主要模塊的熱流速度較快，但系統整個內部由于組件較多，形成很多渦流，使內部熱氣流不能以最短的路徑傳遞出去，造成內部積溫。改進系統熱路徑需要在后部增加抽風風扇，在硬盤末端加擋風板。
通過分析可知，系統改進后，在滿負荷時，控制和計算模塊溫度為115 ℃，電源發熱器件最高溫度為100 ℃，小于器件極限溫度，基本滿足使用要求。但增加風扇所帶來的系統不匹配問題仍然存在，通過改善控制和計算模塊塊的傳熱方案,仍有提高的潛力。
4 實驗結果
在完成上述4項技術設計的基礎上，通過一個并行程度相對較高的任務，即上萬個數的冒泡排序法，對多主并行處理加固計算機的并行計算能力進行了測試。通過編寫任務的串行算法和把串行算法并行化，實現任務的并行初始化、任務分配、子任務并行執行、子任務匯總等。所有節點完成各自任務之后，由主節點進行匯總。采用枚舉算法是將每個節點求解出來的秩序列合并，得到完整的秩序列[4]。子節點通過 MPI_SEND 函數向主節點發送自己求解得到的 Rank 序列,同時主節點通過 MPI_RECV 函數逐個收集子節點的Rank序列，根據子節點的ID和 Rank序列長度將所有的Rank序列依次拼接起來，最終得到完整的秩序列[5]。這里需要注意的是:拼接次序和位置必須準確無誤，否則最終結果必定不正確。完整的秩序列得到之后，枚舉排序并行算法的并行化也就完成了。在多主并行處理加固計算機上使用6個節點運行任務，對10萬個隨機生成的整數進行排序,所需時間僅為單機運行串行程序耗費時間的六分之一，效率提高近6倍。
參考文獻
[1] 陸鑫達．計算機系統結構[M]．北京：高等教育出版社，2000．
[2] 陳國良．并行計算——結構、算法、編程[M]．北京：高等教育出版社，1999．
[3] 柴小麗，奚軍，倪明．適度并行嵌入式計算機體系結構研究[J]．計算機工程，2008，34(5)：283-285．
[4] 宋偉，宋玉．基于SMP集群系統的并行編程模式研究與分析[J]．計算機技術與發展，2007，17(2)：164-167．
[5] 張翠蓮，劉方愛，王亞楠．基于MPI的并行程序設計[J]．計算機技術與發展，2006,16(8)：72-74．