<address id="v7711"></address><p id="v7711"><pre id="v7711"></pre></p>
<p id="v7711"><ruby id="v7711"></ruby></p>
<pre id="v7711"><ruby id="v7711"></ruby></pre>

      <track id="v7711"></track>

          <pre id="v7711"></pre>

              <pre id="v7711"><ruby id="v7711"></ruby></pre>

              • 自動秒收錄
              • 軟件:1974
              • 資訊:5199|
              • 收錄網站:302286|

              IT精英團

              最新作品,源于Fackbook AI,RegNet |

              最新作品,源于Fackbook AI,RegNet |

              作者/小帥

              最新作品,源于Fackbook AI,RegNet |

              作者/小帥

              簡述


              在這項工作中,何老師團隊提出了一個新的網絡設計范例。我們的目標是幫助提高對網絡設計的理解,并發現跨設置泛化的設計原則。

              我們不是專注于設計單個的網絡實例,而是設計參數化網絡總體的網絡設計空間。整個過程類似于經典的手工網絡設計,但是提升到了設計空間的層次。使用我們的方法,我們探索了網絡設計的結構方面,并得出一個由簡單的、規則的網絡組成的低維設計空間,我們稱之為RegNet。RegNet參數化的核心思想非常簡單:良好網絡的寬度和深度可以用量化的線性函數來解釋。我們分析了RegNet設計空間,得出了與當前網絡設計實踐不相符的有趣發現。RegNet設計空間提供了簡單而快速的網絡,可以很好地跨越各種觸發器。

              在可比較的訓練設置和flops的情況下,RegNet模型在gpu上的運行速度高達5倍,表現優于當前流行的有效網模型。

              相關工作



              相關工作就簡單敘述下,有興趣的可以自己去閱讀。

              手動網絡設計

              AlexNet的引入使網絡設計成為一個蓬勃發展的研究領域。在接下來的幾年里,提出了改進的網絡設計;例如VGG, Inception, ResNet, ResNeXt, DenseNet,和MobileNet。這些網絡背后的設計過程很大程度上是手工的,并且專注于發現新的設計選擇,以提高準確性,例如使用更深層次的模型或殘差。我們同樣分享發現新設計原則的目標。事實上,我們的方法類似于手工設計,但是在設計空間級別執行。

              自動化的網絡設計

              最近,網絡設計的過程已經從手工探索轉向了自動化程度更高的網絡設計,并由NAS推廣開來。NAS已被證明是尋找良好模型的有效工具。NAS的大部分工作集中在搜索算法上,即,在一個固定的、手工設計的搜索空間(我們稱之為設計空間)中高效地找到最佳網絡實例。相反,我們關注的是設計新穎設計空間的范例。兩者是相輔相成的:更好的設計空間可以提高NAS搜索算法的效率,并且通過豐富設計空間來產生更好的模型。

              網絡擴展

              手動和半自動網絡設計通常都關注于為特定的機制尋找性能最佳的網絡實例(例如,與ResNet-50相當的失敗數)。由于這個過程的結果是一個單一的網絡實例,所以不清楚如何使實例適應不同的機制(例如,更少的失敗)。一種常見的做法是應用網絡縮放規則,如改變網絡深度、寬度、分辨率或三者同時改變。相反,我們的目標是發現普遍的設計原則,這些原則適用于各種制度,并允許對任何目標制度下的最佳網絡進行有效的調優。

              比較網絡

              考慮到大量可能的網絡設計空間,使用可靠的比較度量來指導我們的設計過程是至關重要的。最近,有作者提出了一種比較和分析從設計空間中采樣的網絡總體的方法。這個分布級視圖與我們尋找通用設計原則的目標完全一致。因此,我們采用這種方法,并證明它可以作為一個有用的工具,為設計空間的設計過程。

              參數化

              我們最終的量化線性參數化與之前的工作有相似之處,例如如何設置舞臺寬度。然而,有兩個關鍵的區別。首先,我們提供了一個實證研究證明我們所做的設計選擇。其次,我們提供了以前不了解的結構設計選擇(例如,如何在每個階段設置塊的數量)。


              我們的實驗大多使用標準的殘差瓶頸塊與組卷積,如上圖所示。我們將其稱為X塊,在其上構建的AnyNet設計空間稱為AnyNetX。雖然X塊非常簡陋,但我們證明了它在優化網絡結構時可以非常有效。

              AnyNetX設計空間有16個自由度,因為每個網絡由4個階段組成,每個階段i有4個參數:塊數量di、塊寬度wi、瓶頸比bi和組寬度gi。我們修正了輸入分辨率r = 224,除非另有說明。為了得到有效的模型,我們對di≤16,wi≤1024,且可被8整除,bi∈{1,2,4},gi∈{1,2,…, 32}(稍后測試這些范圍)。

              我們重復采樣,直到在我們的目標復雜度范圍內(360 - 400MF)獲得n = 500個模型,并對每個模型進行10個epoch的訓練。AnyNetX的基本統計數據如上面第二張圖所示。

              AnyNetX的sic統計數據如下圖所示。在AnyNetX設計空間中有(16·128·3·6)4≈1018種可能的模型配置。我們不是從這些~1018配置中尋找單個的最佳模型,而是探究是否有通用的設計原則可以幫助我們理解和改進這個設計空間。為此,我們采用了設計設計空間的方法。在這方法的每一步,我們的目標是:

              1. 為了簡化設計空間的結構,

              2. 為了提高設計空間的可解釋性,

              3.改善或維持設計空間質素,

              4. 保持設計空間的模型多樣性。

              背景

              深度卷積神經網絡是視覺識別的引擎。在過去的幾年里,更好的體系結構在視覺識別領域取得了長足的進步。例如LeNet、AlexNet、VGG和ResNe。這一工作體系既提高了神經網絡的有效性,也提高了我們對網絡設計的理解。特別是上述工作序列,分別說明了卷積、網絡和數據大小、深度和殘差的重要性。這些工作的結果不僅是特定的網絡實例化,而且是設計原則,可以推廣和應用于許多設置。

              image.png

              上圖所示:設計空間設計。我們建議設計網絡設計空間,其中設計空間是可能的模型架構的參數化集合。設計空間設計類似于人工網絡設計,但提升到了人口層面。在我們流程的每個步驟中,輸入是初始設計空間,輸出是更簡單或更好模型的精細化設計空間。在[I. Radosavovic, J. Johnson, S. Xie, W.-Y. Lo, and P. Dollar. ′On network design spaces for visual recognition. In ICCV,2019]之后,我們通過采樣模型并檢查它們的誤差分布來描述設計空間的質量。例如,在上圖中我們從最初的設計空間和應用兩個改進措施產量設計空間B C。在這種情況下C?B?(左),和誤差分布嚴格改善從A到B C(右)。希望適用于模型總體的設計原則更有可能是健壯的和一般化的。

              雖然手動網絡設計已經取得了很大的進展,但是手動找到優化良好的網絡可能是一項挑戰,特別是在設計選擇的數量增加的情況下。解決這一限制的一種流行方法是神經架構搜索(NAS)。給定一個可能的網絡的固定搜索空間,NAS會自動在搜索空間中找到一個好的模型。近年來,NAS受到了廣泛的關注,并取得了良好的研究成果。

              盡管NAS有效,但這種范式也有局限性。搜索的結果是將單個網絡實例調優到特定的設置(例如,硬件平臺)。在某些情況下,這就足夠了;然而,它并不能幫助我們發現網絡設計原則,從而加深我們的理解,并使我們能夠歸納出新的設置。特別是,我們的目標是找到易于理解、構建和泛化的簡單模型。

              在這項工作中,我們提出了一個新的網絡設計范例,它結合了手工設計和NAS的優點。我們不是專注于設計單個的網絡實例,而是設計參數化網絡總體的設計空間。和手工設計一樣,我們的目標是可解釋性,并發現描述網絡的一般設計原則,這些網絡簡單、工作良好,并且可以在各種設置中泛化。與NAS一樣,我們的目標是利用半自動過程來幫助實現這些目標。

              我們采用的一般策略是逐步設計一個初始的、相對不受約束的設計空間的簡化版本,同時保持或提高其質量(上圖)。整個過程類似于手工設計,提升到總體水平,并通過網絡設計空間的分布估計進行指導。

              作為這個范例的一個測試平臺,我們的重點是探索假定標準模型族包括VGG、ResNet和ResNeXt的網絡結構(例如,寬度、深度、組等)。我們從一個相對不受約束的設計空間開始,我們稱之為AnyNet(例如,寬度和深度在不同階段自由變化),并應用我們的人在循環的方法來達到一個由簡單的“規則”網絡組成的低維設計空間,我們稱之為RegNet。RegNet設計空間的核心很簡單:舞臺寬度和深度由量化的線性函數決定。與AnyNet相比,RegNet設計空間具有更簡單的模型,更易于解釋,并且具有更高的優秀模型集中度。




              image.png

              image.png

              上圖:AnyNetXB(左)和AnyNetXC(中)分別引入了共享瓶頸比bi = b和共享組寬度gi = g。這簡化了設計空間,同時幾乎不會改變錯誤EDFs。此外,AnyNetXB和AnyNetXC更易于進行分析。對b和g應用經驗自舉法,我們可以看到趨勢的出現,例如,在這種情況下,95%置信b≤2是最好的(右)。在AnyNetXA的個體bi和gi中沒有明顯的這種趨勢(未顯示)。

              image.png

              上圖:示例好的和壞的AnyNetXC網絡,分別顯示在頂部和底部行。對于每個網絡,我們繪制每個塊j的寬度wj,直到網絡深度d。這些每個塊寬度wj是由每個階段的塊深度di和塊寬度wi計算出來的(列在圖例中以供參考)。

              image.png

              AnyNetXD(左)和AnyNetXE(右)。我們給出了每個階段寬度wi和深度di的各種約束條件。在這兩種情況下,增加wi和di是有益的,而使用常數或遞減值則更糟。注意AnyNetXD = AnyNetXC + wi+1≥wi,且AnyNetXE = AnyNetXD + di+1≥di。我們將很快探討對wi和di的更強約束。

              新算法



              我們的目標是設計更好的視覺識別網絡。我們不是在特定的環境下設計或尋找單一的最佳模型,而是研究模型總體的行為。我們的目標是發現一般的設計原則,可以適用于和改善整個模型人口。這樣的設計原則可以提供對網絡設計的洞察,并且更有可能泛化到新的設置中(不同于針對特定場景進行調整的單個模型)。

              我們依靠Radosavovic等人提出的網絡設計空間的概念。一個設計空間是一個龐大的,可能是無限的,模型架構的種群。[I. Radosavovic, J. Johnson, S. Xie, W.-Y. Lo, and P. Dollar. ′ On network design spaces for visual recognition. In ICCV, 2019]的核心觀點是,我們可以從設計空間中抽取模型樣本,生成模型分布,并使用經典統計數據中的工具來分析設計空間。我們注意到這與架構搜索不同,架構搜索的目標是從空間中找到單個的最佳模型。

              在這項工作中,我們建議設計一個逐步簡化版本的初始,無約束的設計空間。我們將這個過程稱為設計空間設計。設計空間設計類似于順序的手工網絡設計,但提升到總體水平。具體地說,在我們的設計過程的每一步中,輸入是一個初始設計空間,輸出是一個精細化的設計空間,其中每一步的目的是發現設計原則,從而生成更簡單或性能更好的模型。

              相對于AnyNet設計空間,RegNet設計空間是:

              • 在它所允許的網絡配置的尺寸和類型方面都進行了簡化;

              • 包含了更集中的性能最好的模型;

              • 更易于分析和解釋。

              設計空間設計工具

              我們首先概述用于設計空間設計的工具。為了評估和比較設計空間,我們使用了Radosavovic等人提出的工具,他們提出通過從設計空間中抽取一組模型并對結果模型誤差分布進行表征來量化設計空間的質量。這種方法背后的主要直覺是,與使用搜索(手動或自動)和比較來自兩個設計空間的最佳模型相比,比較發行版更健壯、更有信息性。

              image.png

              為了獲得模型的分布,我們從一個設計空間中采樣并訓練n個模型。為了提高效率,我們主要在低計算、低時代的訓練體制下進行。特別地,在本節中,我們使用4億個flop3 (400MF)機制,并在ImageNet數據集[3]上對每個采樣模型進行10個紀元的訓練。我們注意到,雖然我們訓練了許多模型,但每一次訓練都是快速的:在400MF下訓練100個模型10個epoch與在4GF下訓練單個ResNet-50模型100 epoch大致相當。

              與[I. Radosavovic, J. Johnson, S. Xie, W.-Y. Lo, and P. Dollar. ′ On network design spaces for visual recognition. In ICCV, 2019]一樣,我們分析設計空間質量的主要工具是誤差經驗分布函數(EDF)。有誤差ei的n個模型的誤差EDF為:F(e)給出了誤差小于e的模型的比例。我們在上圖(左)中展示了來自AnyNetX設計空間的n = 500個采樣模型的誤差EDF。給定一組訓練過的模型,我們可以繪制和分析各種網絡屬性與網絡錯誤之間的關系,參見上圖(中間)和上圖(右邊),這兩個示例取自AnyNetX設計空間。這樣的可視化顯示了一個復雜的高維空間的一維投影,可以幫助獲得對設計空間的洞察。對于這些圖,我們使用一個經驗bootstrap4來估計最佳模型的可能范圍。

              總結

              • 我們生成分布模型獲得的采樣和訓練n模型的設計空間;

              • 我們計算和繪制錯誤edf總結設計空間質量;

              • 我們想象的各種屬性設計空間和使用經驗引導了解;

              • 我們使用這些信息來改進設計空間。

              image.png

              設計空間中模型的一般網絡結構。(a)每個網絡包括一個stem (stride-two 3×3 conv with w0 = 32 output channels),接著是執行大部分計算的網絡主體,然后是預測n個輸出類的head(平均池接全連接層)。(b)網絡主體由一系列按逐步降低分辨率ri操作的階段組成。(c)除了第一個使用stride-two conv的塊外,每個階段都由一系列相同的塊組成。雖然一般結構簡單,但可能的網絡配置的總數是巨大的。

              AnyNet的設計空間

              接下來,我們將介紹我們最初的AnyNet設計空間。我們的重點是探索假定標準的固定網絡塊(例如,剩余瓶頸塊)的神經網絡結構。在我們的術語中,網絡的結構包括一些元素,如塊的數量(即網絡深度)、塊的寬度(即通道的數量)和其他塊的參數(如瓶頸比率或組的寬度)。網絡的結構決定了計算、參數和內存在整個網絡計算圖中的分布,是決定其準確性和效率的關鍵。

              在我們的AnyNet設計空間中,網絡的基本設計非常簡單。給定一個輸入圖像,一個網絡由一個簡單的主干、執行大部分計算的網絡主體和預測輸出類的最終網絡頭組成,如圖3a所示。我們保持桿和頭固定,盡可能簡單,相反,我們關注網絡主體的結構,這是決定網絡計算和精度的核心。

              image.png



              點擊這里復制本文地址 以上內容由IT精英團整理呈現,請務必在轉載分享時注明本文地址!如對內容有疑問,請聯系我們,謝謝!
              發表評論 共有條評論
              用戶名: 密碼:
              驗證碼: 匿名發表
              退出閱讀|首頁
              亚洲AV色福利天堂网妓女
              <address id="v7711"></address><p id="v7711"><pre id="v7711"></pre></p>
              <p id="v7711"><ruby id="v7711"></ruby></p>
              <pre id="v7711"><ruby id="v7711"></ruby></pre>

                  <track id="v7711"></track>

                      <pre id="v7711"></pre>

                          <pre id="v7711"><ruby id="v7711"></ruby></pre>