機器不學www.jqbxx.com :深度聚合機器學習、深度學習算法和技術實戰(zhàn)

首先，我將介紹幾個經(jīng)典的卷積神經(jīng)網(wǎng)絡結構：LeNet、AlexNet、VGGNet。

然后我們具體講講卷積核的事情...

LeNet-5：

LeNet-5主要是針對灰度設計的，所以其輸入較小，為 32 * 32 * 1 ，其結構如下：

在LetNet中，存在的經(jīng)典模式：

• 隨著網(wǎng)絡的深度增加，圖像的大小在縮小，與此同時，通道的數(shù)量卻在增加；每個卷積層后面接一個池化層。

AlexNet：

AlexNet直接對彩色的大圖片進行處理，其結構如下：

• 與LeNet相似，但網(wǎng)絡結構更大，參數(shù)更多，表現(xiàn)更加出色；使用了Relu；使用了多個GPUs；LRN（后來發(fā)現(xiàn)用處不大，丟棄了）

AlexNet使得深度學習在計算機視覺方面受到極大的重視。

VGG-16：

2. ResNet

ResNet是由殘差塊所構建。殘差塊,下面是一個普通的神經(jīng)網(wǎng)絡塊的傳輸：

其前向傳播的計算步驟為：

而ResNet塊則將其傳播過程增加了一個從 a[l]直接到a[l+2] 的連接，將其稱之為“short cut”或者“skip connection”：

也就是前向傳播公式的最后一個步驟變?yōu)椋?

增加“short cut”后，成為殘差塊的網(wǎng)絡結構：

注意這里是連接在Relu激活函數(shù)之前。

Residual Network：

多個殘差塊堆積起來構成ResNet網(wǎng)絡結構，其結構如下：

沒有“short cut”的普通神經(jīng)網(wǎng)絡和ResNet的誤差曲線：

• 在沒有殘差的普通神經(jīng)網(wǎng)絡中，訓練的誤差實際上是隨著網(wǎng)絡層數(shù)的加深，先減小再增加；在有殘差的ResNet中，即使網(wǎng)絡再深，訓練誤差都會隨著網(wǎng)絡層數(shù)的加深逐漸減小。

ResNet對于中間的激活函數(shù)來說，有助于能夠達到更深的網(wǎng)絡，解決梯度消失和梯度爆炸的問題。

3. ResNet表現(xiàn)好的原因

假設有個比較大的神經(jīng)網(wǎng)絡，輸入為 x ，輸出為 a[l] 。如果我們想增加網(wǎng)絡的深度，這里再給網(wǎng)絡增加一個殘差塊：

所以從上面的結果我們可以看出，對于殘差塊來學習上面這個恒等函數(shù)是很容易的。所以在增加了殘差塊后更深的網(wǎng)絡的性能也并不遜色于沒有增加殘差塊簡單的網(wǎng)絡。所以盡管增加了網(wǎng)絡的深度，但是并不會影響網(wǎng)絡的性能。同時如果增加的網(wǎng)絡結構能夠學習到一些有用的信息，那么就會提升網(wǎng)絡的性能。

的維度相同。

將普通深度神經(jīng)網(wǎng)絡變?yōu)镽esNet：

在兩個相同的卷積層之間增加“skip connection”。

4. 1x1卷積

在二維上的卷積相當于圖片的每個元素和一個卷積核數(shù)字相乘。

但是在三維上，與 1*1*nc 卷積核進行卷積，相當于三維圖像上的 1*1*nc 的切片，也就是 nc 個點乘以卷積數(shù)值權重，通過Relu函數(shù)后，輸出對應的結果。而不同的卷積核則相當于不同的隱層神經(jīng)元結點與切片上的點進行一一連接。

所以根本上 1*1 卷積核相當于對一個切片上的 nc 個單元都應用了一個全連接的神經(jīng)網(wǎng)絡。

最終三維的圖形應用 1*1 的卷積核得到一個相同長寬但第三維度變?yōu)榫矸e核個數(shù)的圖片。

1x1卷積應用：

• 維度壓縮：使用目標維度的 1x1 的卷積核個數(shù)。增加非線性：保持與原維度相同的 1x1的卷積核個數(shù)。

5. Inception Network

Inception Network 的作用就是使我們無需去考慮在構建深度卷積神經(jīng)網(wǎng)絡時，使用多大的卷積核以及是否添加池化層等問題。

Inception主要結構：

在上面的Inception結構中，應用了不同的卷積核，以及帶padding的池化層。在保持輸入圖片大小不變的情況下，通過不同運算結果的疊加，增加了通道的數(shù)量。

計算成本的問題：

對于上面的 5 * 5 大小卷積核的計算成本：

對于 1 * 1 大小卷積核用作過渡的計算成本，也將下面的中間的層叫做“bottleneck layer”：

所以 1 * 1 卷積核作為“bottleneck layer”的過渡層能夠有效減小卷積神經(jīng)網(wǎng)的計算成本。事實證明，只要合理地設置“bottleneck layer”，既可以顯著減小上層的規(guī)模，同時又能降低計算成本，從而不會影響網(wǎng)絡的性能。

Inception 模塊：

將上面說介紹的兩種主要思想和模式結合到一起構成 Inception 模塊，如下：

Inception Network：

多個Inception 模塊的堆疊構成Inception Network，下面是GoogleNet的結構：

6. 遷移學習

小數(shù)據(jù)集：

如今在深度學習領域，許多研究者都會將他們的工作共享到網(wǎng)絡上。在我們實施自己的工作的時候，比如說做某種物體的識別分類，但是只有少量的數(shù)據(jù)集，對于從頭開始訓練一個深度網(wǎng)絡結構是遠遠不夠的。

但是我們可以應用遷移學習，應用其他研究者建立的模型和參數(shù)，用少量的數(shù)據(jù)僅訓練最后自定義的softmax網(wǎng)絡。從而能夠在小數(shù)據(jù)集上達到很好的效果。

大數(shù)據(jù)集：

如果我們在自己的問題上也擁有大量的數(shù)據(jù)集，我們可以多訓練后面的幾層?？傊S著數(shù)據(jù)集的增加，我們需要“ freeze”的層數(shù)越來越少。最后如果我們有十分龐大的數(shù)據(jù)集，那么我們可以訓練網(wǎng)絡模型的所有參數(shù)，將其他研究者訓練的模型參數(shù)作為參數(shù)的初始化來替代隨機初始化，來加速我們模型的訓練。

7. 數(shù)據(jù)擴充

與其他機器學習問題相比，在計算機視覺領域當下最主要的問題是沒有辦法得到充足的數(shù)據(jù)。所以在我們訓練計算機數(shù)據(jù)模型的時候，數(shù)據(jù)的擴充就是會非常有用。

數(shù)據(jù)擴充的方法：

• 鏡像翻轉（Mirroring）；隨機剪裁（Random Cropping）；色彩轉換（Color shifting）：

為圖片的RGB三個色彩通道進行增減值，如（R：+20，G：-20，B：+20）；PCA顏色增強：對圖片的主色的變化較大，圖片的次色變化較小，使總體的顏色保持一致。

訓練過程中的數(shù)據(jù)擴充：

為了節(jié)省時間，數(shù)據(jù)擴充的過程和訓練過程可以多CPU多線程來并行的實現(xiàn)。

8. 計算機視覺現(xiàn)狀

數(shù)據(jù)和手工工程：

不同問題當前的數(shù)據(jù)集大?。?/p>

在有大量數(shù)據(jù)的時候，我們更傾向于使用簡單的算法和更少的手工工程。因為此時有大量的數(shù)據(jù)，我們不需要為這個問題來精心設計特征，我們使用一個大的網(wǎng)絡結果或者更簡單的模型就能夠解決。

相反，在有少量數(shù)據(jù)的時候，我們從事更多的是手工工程。因為數(shù)據(jù)量太少，較大的網(wǎng)絡結構或者模型很難從這些少量的數(shù)據(jù)中獲取足夠的特征，而手工工程實際上是獲得良好表現(xiàn)的最佳方式。

對于機器學習應用：

• 標記數(shù)據(jù)，（x,y）；手工特征工程/網(wǎng)絡結構/其他構建。

Tips for doing well：

在基準研究和比賽中，下面的tips可能會有較好的表現(xiàn)：

• Ensembling：獨立地訓練多個網(wǎng)絡模型，輸出平均結果或加權平均結果；測試時的 Multi-crop：在測試圖片的多種版本上運行分類器，輸出平均結果。