最近突然對GAN特別感興趣，今天就開始進入該領域，我也從基礎的開始，今天就先說說Nvidia的第一版本GAN。

而PG-GAN不引入新的參數，利用特征的標準差作為衡量標準。

Normalization

從DCGAN開始，GAN的網絡使用batch(or instance) normalization幾乎成為慣例。使用batch norm可以增加訓練的穩定性，大大減少了中途崩掉的情況。作者采用了兩種新的normalization方法，不引入新的參數(不引入新的參數似乎是PG-GAN各種tricks的一個賣點)。

第一種normalization方法叫pixel norm，它是local response normalization的變種。Pixel norm沿著channel維度做歸一化，這樣歸一化的一個好處在于，feature map的每個位置都具有單位長度。這個歸一化策略與作者設計的Generator輸出有較大關系，注意到Generator的輸出層并沒有Tanh或者Sigmoid激活函數，后面我們針對這個問題進行探討。

第二種normalization方法跟何老師的初始化方法掛鉤。何老師的初始化方法能夠確保網絡初始化的時候，隨機初始化的參數不會大幅度地改變輸入信號的強度。

根據這個式子，我們可以推導出網絡每一層的參數應該怎樣初始化?？梢詤⒖紁ytorch提供的接口。作者走得比這個要遠一點，他不只是初始化的時候對參數做了調整，而是動態調整。初始化采用標準高斯分布，但是每次迭代都會對weights按照上面的式子做歸一化。作者argue這樣的歸一化的好處在于它不用再擔心參數的scale問題，起到均衡學習率的作用(euqalized learning rate)。

 實驗結果

 簡述 

描述了生成對抗網絡的新訓練方法。關鍵思想是從低分辨率圖像開始，逐漸增大生成器和判別器，并在訓練進展過程中添加新的處理更高分辨率細節的網絡層。這大大地穩定了訓練，并讓我們生成了前所未有高質量的圖像，例如，分辨率為1024×1024的CelebA圖像。

還提出了一種簡單方法，讓生成的圖像更加變化多端，并在無監督的CIFAR10中實現了8.80的初始分數，創下了記錄。

此外，我們還描述了幾個小的實現細節，對防止生成器和鑒別器之間不健康的競爭非常重要。

我們提出了一個從圖像質量和種類變化方面衡量GAN結果的新指標。作為額外的貢獻，我們構建了更高質量的CelebA數據集，方便以后研究人員就分辨率最高達1024×1024像素的圖像進行探索。

Fade In形式

引入殘差塊的概念，使網絡逐步適應高分辨率，直至構建成新的網絡結構，這樣有助于利用前期訓練好的網絡。在實際訓練中，先將4×4的網絡訓練到一定程度（文中的條件是判別器判別了800k真實圖片），然后再兩個階段進行交替：fade in網絡，也即b；穩定網絡，也即c。每個階段均訓練到一定程度后進入下一階段。在訓練階段，真實圖片也需要跟生成圖片一樣，根據α值融合兩個分辨率的圖像，然后輸入到判別器中。

增加多樣性-MSD

常見的增加多樣性的兩種方法：

• 優化loss讓網絡自己調整–WGAN

• 設計衡量多樣性的度量加到判別器中–imporoved GAN-MD

作者在MD的基礎上提出了MSD，引入了特征的標準差作為衡量標準，以樣本為單位，求取相應特征圖的相應位置的特征的標準差，最后將所有特征差求出平均值，然后生成一個mean std，并填充成特征圖大小，和每個樣本原有的特征圖進行concat，然后將這些特征圖送入到判別器中。這個特征圖中包含了不同樣本之間的差異性信息，送入判別器后，經過訓練，生成樣本的差異性也會與訓練樣本的相似。

其中，Improved GAN引入了minibatch discrimination層，構造一個minibatch內的多樣性衡量指標。它引入了新的參數。

背景 

• 目前生成高分辨率圖像的問題

1. 高分辨率放大訓練分布與生成分布之間的差異，進而放大梯度問題（WGAN中有詳細介紹）；

2. 由于內存的約束，需要使用更小批量去處理數據，會導致訓練不穩定。
   

• GAN目前遇到的問題

3. 多樣性問題，傳統GAN傾向于捕獲訓練集多樣性中的一種；

4. 模型崩塌（判別器處理過度，導致G和D之間不健康競爭，成為貓捉老鼠的游戲）。

 新算法 

通過使用逐漸增大的GAN網絡（先訓練4x4，然后訓練8x8，然后... 直到 1024x1024），配合精心處理過的CelebA-HQ數據集，實現了迄今最真實的GAN效果。

用到的漸進式生成的方式是先訓練出低分辨率的圖片，再逐步增加網絡結構提升圖片質量。生成器和分類器是鏡像生成的，N×N是指這部分的卷積網絡作用在N×N分辨率的圖像上，在分辨率增長的過程中采用fade in形式的增長，早期分辨率低時學習到的是大規模結構特征，再分辨率逐漸增加的過程中，轉移到細節逐步學習。優勢就是：增強訓練穩定性，減少訓練時間，提高圖像質量。