今天介紹一種新的GPU多卡計算的通信優(yōu)化算法——Ring Allreduce。

　　先來講一下常規(guī)的GPU多卡分布式計算的原理。

　　第一點：我們知道GPU在矩陣并行化計算方面非常有優(yōu)勢，所以適合深度學習的訓練。

　　第二點：使用多個GPU卡訓練同一個深度學習任務就是分布式計算。

　　第三點：在分布式計算過程中，需要對計算任務資源進行分片，通常的方式是將完整的網(wǎng)絡結構放到每一個GPU上，然后將訓練數(shù)據(jù)進行分片分發(fā)到不同的GPU卡上。

　　于是GPU分布式計算的具體形式就比較清晰了，以上圖為例。GPU1~4卡負責網(wǎng)絡參數(shù)的訓練，每個卡上都布置了相同的深度學習網(wǎng)絡，每個卡都分配到不同的數(shù)據(jù)的minibatch。每張卡訓練結束后將網(wǎng)絡參數(shù)同步到GPU0，也就是Reducer這張卡上，然后再求參數(shù)變換的平均下發(fā)到每張計算卡，整個流程有點像mapreduce的原理。

　　這里面就涉及到了兩個問題：

　　問題一，每一輪的訓練迭代都需要所有卡都將數(shù)據(jù)同步完做一次Reduce才算結束。如果卡數(shù)比較少的情況下，其實影響不大，但是如果并行的卡很多的時候，就涉及到計算快的卡需要去等待計算慢的卡的情況，造成計算資源的浪費。

　　問題二，每次迭代所有的計算GPU卡多需要針對全部的模型參數(shù)跟Reduce卡進行通信，如果參數(shù)的數(shù)據(jù)量大的時候，那么這種通信開銷也是非常龐大，而且這種開銷會隨著卡數(shù)的增加而線性增長。

　　為了解決這樣的問題，就引入了一種通信算法Ring Allreduce，通過將GPU卡的通信模式拼接成一個環(huán)形，從而減少隨著卡數(shù)增加而帶來的資源消耗，如下圖所示：

　　將GPU卡以環(huán)形通信之后，每張卡都有一個左手卡和右手卡，那么具體的模型參數(shù)是如何傳遞的呢，可以看下圖：

　　因為每張卡上面的網(wǎng)絡結構是固定的，所以里面的參數(shù)結構相同。每次通信的過程中，只將參數(shù)send到右手邊的卡，然后從左手邊的卡receive數(shù)據(jù)。經過不斷地迭代，就會實現(xiàn)整個參數(shù)的同步，也就是reduce。

　　形成以下這張圖的樣式：

　　通過Ring Allreduce的方式，基本上可以實現(xiàn)當GPU并行卡數(shù)的增加，實現(xiàn)計算性能的線性增長。