0引言

深度學習在計算機視覺和自然語言處理等領域都取得了驚人的成就。傳統的深度學習方法基于一個基本假設：訓練數據和測試數據是獨立且同分布的（Independent and Identically Distribution，IID）。但是，在現實任務中，如醫學成像和自主駕駛等領域，這種IID假設通常不成立。當訓練數據的分布（也稱為域）與測試數據的分布不同時，由于存在分布差距，訓練出的模型通常表現不佳。訓練數據的域與測試數據的域不同的現象也被稱為域偏移。上述觀點促進了域適應（Domain Adaptation，DA）和域泛化（Domain Generalization，DG）的研究。域泛化的目標是從多個相似分布（也稱為源域）中學習一種通用表征。一般數據都存在某些與輸出（即標簽）相關且在不同域間都保持不變的特征，那么就可以將這種特征遷移到具有未見過分布（也稱為目標域）的測試數據上。域泛化任務的示例如圖1所示。

大多數域泛化研究集中在學習不受域干擾的表征，從而得到所謂的域不變特征。例如，Li等［1］采用了域適應研究中的思想，使用對抗訓練來學習域不變特征以解決域泛化問題。盡管這些基于學習策略的方法在真實世界的任務中表現良好，但缺乏理論可解釋性。Ilse等［2］和Peng等［3］采用特征解耦方法來學習標簽的特定特征，并希望這些特征是關于域不變的。這種基于特征解耦的方法在理論上是可解釋的，但在實際的域泛化任務中表現不佳。因此，研究既具有理論可解釋性又在真實的域泛化任務中表現良好的方法非常重要。

本文提出了一種稱為對抗域不變變分自動編碼器（Adversarial Domain Invariant Variational AutoEncoder，ADIVA）的模型來解決域泛化問題。該模型先使用變分自動編碼器［4］（Variational AutoEncoder，VAE）框架將輸入數據解耦成三個潛在因子：域信息因子、標簽信息因子和包含任何殘留信息的因子，然后，將因果關系引入到域泛化任務中，將域偏移問題拆分為兩個相關分布的偏移問題。為了修正這些偏移，本文采用特征對齊方法來學習域不變特征。此外，為了解決VAE中存在的解耦不完全問題，本文采用對抗訓練來消除潛在因子中的混淆信息，以進一步提高模型的實際表現。本文在兩個域泛化公開數據集——Rotated MNIST和PACS上，對ADIVA進行了大量實驗。實驗結果表明，ADIVA在域泛化表現方面具有與目前最優方法相當的競爭力。本文的主要貢獻有：其一，本文基于域泛化中的因果關系使用特征對齊來解決域偏移問題；其二，本文采用對抗訓練來解決VAE特征解耦不完全的問題，提升ADIVA在實際任務中的性能；其三，本文證明了ADIVA的可識別性理論。

本文詳細內容請下載：http://www.jysgc.com/resource/share/2000005468

作者信息：

明水根1，張洪2

（1.中國科學技術大學大數據學院，安徽合肥230026；2.中國科學技術大學管理學院，安徽合肥230026）