中文引用格式： 原野，田園，蔣七兵. 一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法[J]. 電子技術(shù)應(yīng)用，2023，49(3)：48-53.
英文引用格式： Yuan Ye，Tian Yuan，Jiang Qibing. Distributed training method for deep neural networks[J]. Application of Electronic Technique，2023，49(3)：48-53.
0 引言
深度神經(jīng)網(wǎng)絡(luò)在高維數(shù)據(jù)的分類和預(yù)測中取得了巨大成功，例如圖像、視頻和音頻。但是，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)密集型的任務(wù)，往往需要從多個數(shù)據(jù)源收集大規(guī)模的數(shù)據(jù)。一個深度神經(jīng)網(wǎng)絡(luò)模型通常包含百萬級參數(shù)，需要大量數(shù)據(jù)和算力來訓(xùn)練這些參數(shù)。
當(dāng)訓(xùn)練數(shù)據(jù)包含敏感信息時，深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程往往會泄露隱私。如果訓(xùn)練數(shù)據(jù)中包含用戶信息、管理信息等高度敏感的信息，數(shù)據(jù)所有者通常不希望公開這些敏感數(shù)據(jù)。因此，深度神經(jīng)網(wǎng)絡(luò)因數(shù)據(jù)隱私而在現(xiàn)實應(yīng)用中受到限制。
為了控制深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中數(shù)據(jù)的隱私泄露，一種可行的解決方案是使用集中式的隱私保護(hù)深度學(xué)習(xí)方法。該方法依賴于一個可信的集中式計算環(huán)境，訓(xùn)練過程使用全局差分隱私算法擾亂訓(xùn)練數(shù)據(jù)，從而實現(xiàn)數(shù)據(jù)的隱私保護(hù)。在這種方式下，多個數(shù)據(jù)源需要信任云服務(wù)器，并將擁有的數(shù)據(jù)上傳到云服務(wù)器，而云服務(wù)器將使用各數(shù)據(jù)源上傳的數(shù)據(jù)集中訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。但是，這種方法因要求各代理共享數(shù)據(jù)而在實際使用中受到限制。
相比集中式的隱私保護(hù)深度學(xué)習(xí)方法，分布式的學(xué)習(xí)方法更適合實際應(yīng)用，因為分布式的學(xué)習(xí)方法并不需要各數(shù)據(jù)源（代理）共享上傳數(shù)據(jù)，也不需要集中式的可信計算環(huán)境。聯(lián)邦學(xué)習(xí)是一種分布式的學(xué)習(xí)方法。在聯(lián)邦學(xué)習(xí)中，各數(shù)據(jù)源在不共享數(shù)據(jù)的情況下，通過參數(shù)聚合機(jī)制共同訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。但是，該方法在訓(xùn)練過程中將面臨巨大的通信開銷。
針對上述問題，本文提出了一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法。該方法允許多個數(shù)據(jù)源在不共享數(shù)據(jù)的情況下，通過網(wǎng)絡(luò)切割，共同訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，并減少訓(xùn)練過程中的通信開銷。具體地，本文主要貢獻(xiàn)包括以下幾點：
(1) 提出了一種深度神經(jīng)網(wǎng)絡(luò)的分布式訓(xùn)練方法，允許代理在數(shù)據(jù)不出本地的情況下，通過網(wǎng)絡(luò)切割，實現(xiàn)模型的分布式共同訓(xùn)練；
(2) 分析了該方法的正確性；
(3) 通過實驗，驗證了該方法的有效性。
本文詳細(xì)內(nèi)容請下載：http://www.jysgc.com/resource/share/2000005228
作者信息：
原野1，田園1，蔣七兵2，3
（1.云南電網(wǎng)有限責(zé)任公司 信息中心，云南 昆明 650214；2.云南云電同方科技有限公司 云南 昆明 650214；
3.西南林業(yè)大學(xué) 大數(shù)據(jù)與智能工程學(xué)院，云南 昆明 650224）
