一種三維不可壓縮管流的并行化方法

專利名稱：一種三維不可壓縮管流的并行化方法
一種三維不可壓縮管流的并行化方法技術領域
本發明屬于流體力學數值模擬領域，涉及一種三維不可壓縮管流的并行化方法。
技術背景
在流體力學數值模擬中，磁流體管流的數值模擬研究是聚變反應堆雙冷或者雙功能液態鋰鉛包層的研究的熱點之一。在聚變反應堆包層應用中， 要想得到正確的數值模擬解，必須保證垂直于外加磁場壁面附近的哈德曼層(有一定數量的網格。實際的磁流體管流的數值模擬當中由于外加磁場和流動的液態金屬的相互作用以及網格要求的特殊性導致網格規模大及迭代求解過程緩慢，常常持續數小時或數天，因此必須采用并行方法才能完成磁流體管流的數值模擬。
在計算流體力學數值模擬中，并行技術一般采用物理區域分割并行方法，計算網格劃分和計算區域分解是實現粗粒度并行的最直接有效的任務分配策略。區域分解方法因其適用于構造并行算法的特點，被逐漸推廣到CFD領域，并在近年來發展迅速，已經成為并行計算中最活躍的研究之一，在流體力學方面都有著重要的應用。
有限差分方法的并行一直是數值計算的重要研究對象，關于有限差分的并行化， 還有4個問題需要進一步的優化。(1)數據局部性問題。傳統的迭代方法，對迭代間的數據局部性優化效果有限。(2)可擴展性問題。傳統的并行化迭代算法在迭代內和迭代間都需要同步操作以維護數據依賴關系。處理機進行全局的同步，會增加開銷時間，當處理機的臺數增多時，全局同步的代價變得更加重要，并且影響算法的可擴展性。(3)通信和同步開銷問題。由于傳統的并行化算法需要在每次迭代過程中通過通信操作得到邊界數據，通信開銷制約了并行算法的效率。并且當問題給定時，隨著處理機臺數的增大，并行純計算時間在減少，而通信時間在不斷增加，這必將影響并行算法的可擴展性。(4)數據依賴關系問題。 迭代空間劃分所引入的條塊依賴關系嚴重阻礙了循環的并行化，大量的Cache缺失和TLB 容量缺失會以及通信開銷嚴重影響傳統迭代算法程序的性能，因此需要研究減少通信時間的新方法。發明內容
本發明提出了三維不可壓縮管流的并行化方法，它面向分布式集群并具有自動調優的功能，通過使用交錯條塊和網絡條塊重排序技術，提高并行執行的性能。
本發明所采用的技術方案是本發明是將迭代空間分塊引入到執行序中，通過時間軸方向將迭代空間劃分成網格條塊，實現了對同一網格塊進行遞歸式多次迭代步更新，從而在不改變原有迭代方法性質的同時，提高了條塊內數據局部性；通過改變條塊網格條塊間數據依賴關系，提高條塊執行的并行度。
本發明具體步驟為1、迭代空間的網格條塊劃分依據處理器數目P及處理器拓撲結構，利用區域分解法將空間計算區域劃分成P個子空間。
2、沿時間軸方向對迭代空間進行劃分采用時滯技術，在迭代時間步上對每層迭代的子空間進行邊界修正。定義有向圖g(F，￡)存放相鄰網格塊的數據依賴關系。若網格塊Vi與網格塊、邊界相連且正向迭代時~的更新順序在Vj之前，則<巧，，>65，即巧的迭代更新依賴、條塊中的邊界數據。對迭代空間劃分后，形成網格條塊。
3、對網格條塊進行重新排序。根據處理器個數，對所有的網格條塊進行重新排序， 實現并行化。
4、指定迭代方向。交錯條塊迭代算法分為奇數β次和偶數β次迭代，并且奇數β 次迭代和偶數β次迭代執行方向相反。
5、以網格條塊為單位執行奇數β次迭代數據更新。執行奇數β次迭代更新，更新順序按照重新排序之后各個子空間內的條塊順序。當更新奇數β中的“邊界遞減條塊“ 和“邊界偏移條塊“后，需要將邊界數據發送給相鄰的“邊界遞增條塊“和“邊界偏移條塊"，而接收數據的條塊必須在接收完數據后才進行迭代更新。空間條塊的邊界網格點必須發送給其它相鄰子空間以維護數據依賴關系。“邊界遞減條條塊“在執行更新后將自身邊界網格數據發送給“邊界遞增條塊“。“邊界遞增條塊“必須在接受其它子空間條塊發送的邊界網格數據后才執行更新。“邊界偏移條塊“在執行前后需要接收數據和發送數據。其余的條塊為“邊界不變條塊“，其自身計算不需要其它處理器中網格條塊的邊界值， 也不需要發送自身網格數據給其它條塊。
所述的丨丨邊界遞減條塊丨丨為每迭代計算一次邊界減少一層的網格條塊，丨丨邊界偏移條塊“為每迭代計算一次邊界偏移一層的網格條塊，“邊界不變條塊“為迭代過程中邊界不發生變化的網格條塊。
6、以網格條塊為單位執行偶數β次迭代數據更新。執行偶數P次迭代更新，更新順序按照每個子空間內的條塊順序反序執行。當更新偶數S次中的“邊界遞減條塊“ 和“邊界偏移條塊“后，需要將邊界數據發送給相鄰的“邊界遞增條塊“和“邊界偏移條塊“，而接收數據的條塊必須在接收完數據后才進行迭代更新。
7、反復執行步驟5和步驟6，直至整個計算過程達到指定的收斂標準。
本發明的有益效果所有的處理器可以同時對它們的子空間進行處理；連續兩次正反掃描過程中，方法的工作集不變；每執行G次迭代操作，通信一次；采用阻塞式通信， 通過計算和通信疊加，對方法的通信進行了優化。
本發明所提出的一種三維不可壓縮管流的并行化方法具有良好的并行效率和可擴展性。另外，對并行計算過程中的條塊大小及內部迭代次數β等參數，針對不同的體系結構下，選擇最優的參數，實現了并行的運行效率最優。


圖1是對迭代空間進行數據劃分的示意圖。4
圖2是條塊生長過程的示意圖。
圖3是四維迭代空間的兩類條塊劃分方法示意圖。
圖4是兩類條塊劃分方法的條塊依賴圖。
圖5是多個子區域的并行化的示意圖。
具體實施方式
下面結合附圖對本方法的具體實施方式
作進一步詳細的說明。
本發明提出的一種三維不可壓縮管流的并行化方法，它面向分布式集群并具有自動調優的功能，對傳統的線性系統進行替換，通過引入網格條塊序的執行順序，在不改變傳統迭代方法性質的同時，提高了執行過程的數據局部性；通過對迭代空間進行區域分解和網格條塊的重新排序，實現了并行化；通過循環交錯條塊技術和增加時間維對迭代空間進行時滯劃分，減小了執行過程的通信和同步開銷；在迭代的實際執行過程中，構造了并行技術的性能自動調優器，通過探測找到效率最優情況下的參數數值組合，并固定參數值，實現并行方法的運行效率最優。
對迭代空間的網格條塊劃分依據處理器數目P及處理器拓撲結構，利用區域分解法將空間計算區域劃分成P個子空間。圖1中將迭代空間劃分成了 2x2x3個子空間。
沿時間軸方向對迭代空間進行劃分采用時滯技術，在迭代時間步上對每層迭代的子空間進行邊界修正。定義有向圖G(RS)存放相鄰網格塊的數據依賴關系。若網格塊ι與網格塊。邊界相連且正向迭代時^的更新順序在&之前，則 <巧巧>€5,即巧的迭代更新依賴&條塊中的邊界數據。對迭代空間劃分后，形成網格條塊。圖2為子空間邊界的修正過程，每一次迭代操作，在三個方向上分別偏移一層邊界。
對網格條塊進行重新排序根據處理器個數，對所有的數據條塊進行重新排序，以實現并行化執行。圖3給出了四維迭代空間(空間維+時間維)迭代空間的兩種交錯劃分，對應的網格條塊依賴關系如圖4所示。圖3和圖4的左半部分顯示網格條塊按條塊順序串行執行的迭代更新，從正向第1塊tile(l)到第12塊數據tile (12)，然后從第12塊 tile (12)到第1塊數據tile (1)，長度為12，因此沒有并行度。圖3和圖4的右半部分顯示，通過增加邊界條塊進而改變網格條塊的執行順序，可以實現四個進程的并行執行迭代更新，并行度為4。四個進程在正向執行條塊迭代更新過程中，分別執行所屬第一個條塊后執行同步操作以維護條塊間的數據依賴關系。同樣四個進程在反向執行條塊更新過程中， 分別在執行所屬第一個條塊后執行同步操作以維護條塊間的數據依賴關系，顯然，第二種劃分的執行速度是第一種劃分方式的四倍。通過改變條塊網格條塊間數據依賴關系，提高條塊執行的并行度。
指定迭代方向。交錯條塊迭代算法分為奇數β次和偶數β次迭代，并且奇數β次迭代和偶數β次迭代執行方向相反。
以網格條塊為單位執行奇數β次迭代數據更新。執行奇數β次迭代更新，更新順序按照重新排序之后各個子空間內的條塊順序。當更新奇數0中的“邊界遞減條塊“ 和“邊界偏移條塊“后，需要將邊界數據發送給相鄰的“邊界遞增條塊“和“邊界偏移條塊"，而接收數據的條塊必須在接收完數據后才進行迭代更新。空間條塊的邊界網格點必須發送給其它相鄰子空間以維護數據依賴關系。“邊界遞減條條塊“在執行更新后將自身邊界網格數據發送給“邊界遞增條塊“。“邊界遞增條塊“必須在接受其它子空間條塊發送的邊界網格數據后才執行更新。“邊界偏移條塊“在執行前后需要接收數據和發送數據。其余的條塊為“邊界不變條塊“，其自身計算不需要其它處理器中網格條塊的邊界值， 也不需要發送自身網格數據給其它條塊。
所述的“邊界遞減條塊“為每迭代計算一次邊界減少一層的網格條塊，“邊界偏移條塊“為每迭代計算一次邊界偏移一層的網格條塊，“邊界不變條塊“為迭代過程中邊界不發生變化的網格條塊。
以網格條塊為單位執行偶數β次迭代數據更新。執行偶數β次迭代更新，更新順序按照每個子空間內的條塊順序反序執行。當更新偶數β次中的“邊界遞減條塊“和“邊界偏移條塊“后，需要將邊界數據發送給相應的“邊界遞增條塊“和“邊界偏移條塊“， 而接收數據的條塊必須在接收完數據后才進行迭代更新。
反復執行上述奇數β次迭代和偶數β次迭代數據更新，直至整個計算過程達到指定的收斂標準。圖5為整個的并行執行過程。
本發明分開了一種三維不可壓縮管流的并行化方法，它對傳統的線性系統進行替換，通過將網格條塊序引入串行方法的執行順序，在不改變傳統迭代方法性質的同時，提高了執行過程的數據局部性；通過對迭代空間進行區域分解和網格條塊的重新排序，實現了并行化；通過循環交錯條塊技術和增加時間維對迭代空間進行時滯劃分，減小了執行過程的通信和同步開銷；在迭代的實際執行過程中，構造了并行技術的性能自動調優器，通過探測找到效率最優情況下的參數數值組合，并固定參數值，實現并行化方法的運行效率最優。
權利要求
1. 一種三維不可壓縮管流的并行化方法，其特征在于該方法包括以下步驟 步驟1、迭代空間的網格條塊劃分依據處理器數目P及處理器拓撲結構，利用區域分解法將空間計算區域劃分成P個子空間；步驟2、沿時間軸方向對迭代空間進行劃分采用時滯技術，在迭代時間步上對每層迭代的子空間進行邊界修正；定義有向圖σ(「勾存放相鄰網格塊的數據依賴關系；若網格塊巧與網格塊、邊界相連且正向迭代時^的更新順序在r, ζ前，則<Vj，V/ >eS，即ι的迭代更新依賴、條塊中的邊界數據；對迭代空間劃分后，形成網格條塊；步驟3、對網格條塊進行重新排序根據處理器個數，對所有的網格條塊進行重新排序，實現并行化；步驟4、指定迭代方向交錯條塊迭代算法分為奇數0次和偶數β次迭代，并且奇數β 次迭代和偶數β次迭代執行方向相反；步驟5、以網格條塊為單位執行奇數β次迭代數據更新執行奇數β次迭代更新，更新順序按照重新排序之后各個子空間內的條塊順序；當更新奇數β中的“邊界遞減條塊“ 和“邊界偏移條塊“后，需要將邊界數據發送給相鄰的“邊界遞增條塊“和“邊界偏移條塊“，而接收數據的條塊必須在接收完數據后才進行迭代更新；空間條塊的邊界網格點必須發送給其它相鄰子空間以維護數據依賴關系；“邊界遞減條條塊“在執行更新后將自身邊界網格數據發送給“邊界遞增條塊“；“邊界遞增條塊“必須在接受其它子空間條塊發送的邊界網格數據后才執行更新；“邊界偏移條塊“在執行前后需要接收數據和發送數據；其余的條塊為“邊界不變條塊“，其自身計算不需要其它處理器中網格條塊的邊界值，也不需要發送自身網格數據給其它條塊；所述的“邊界遞減條塊“為每迭代計算一次邊界減少一層的網格條塊，“邊界偏移條塊“為每迭代計算一次邊界偏移一層的網格條塊，“邊界不變條塊“為迭代過程中邊界不發生變化的網格條塊；步驟6、以網格條塊為單位執行偶數β次迭代數據更新；執行偶數β次迭代更新，更新順序按照每個子空間內的條塊順序反序執行；當更新偶數β次中的“邊界遞減條塊“ 和“邊界偏移條塊“后，需要將邊界數據發送給相鄰的“邊界遞增條塊“和“邊界偏移條塊“，而接收數據的條塊必須在接收完數據后才進行迭代更新；步驟7、反復執行步驟5和步驟6，直至整個計算過程達到指定的收斂標準。
全文摘要
本發明了公開了一種三維不可壓縮管流的并行化方法，它是一種面向分布式集群的并行化方法。本發明對傳統的線性系統進行替換，通過引入網格條塊的執行順序，在不改變傳統迭代方法性質的同時，提高了執行過程的數據局部性；通過對迭代空間進行區域分解和網格條塊的重新排序，實現了方法的并行化；通過循環交錯條塊技術和增加時間維對迭代空間進行時滯劃分，減小了執行過程的通信和同步開銷；在迭代的實際執行過程中，構造了并行方法的性能自動調優器，通過探測找到效率最優情況下的參數數值組合，并固定參數值，實現并行方法的運行效率最優。
文檔編號G06F15/16GK102520917SQ201110420229
公開日2012年6月27日 申請日期2011年12月15日 優先權日2011年12月15日
發明者萬健, 任永堅, 張紀林, 徐向華, 朱禮廷, 毛潔, 蔣從鋒 申請人:杭州電子科技大學