SRCNN、DRCN、FSRCNN、ESPCN、SRGAN、RED …你都掌握了嗎？一文總結(jié)超分辨率分析必備經(jīng)典模型（一）

以下文章來源于機(jī)器之心SOTA模型 ，作者機(jī)器之心SOTA模型

機(jī)器之心專欄

(相關(guān)資料圖)

本專欄由機(jī)器之心SOTA！模型資源站出品，每周日于機(jī)器之心公眾號(hào)持續(xù)更新。

本專欄將逐一盤點(diǎn)自然語言處理、計(jì)算機(jī)視覺等領(lǐng)域下的常見任務(wù)，并對(duì)在這些任務(wù)上取得過 SOTA 的經(jīng)典模型逐一詳解。前往 SOTA！模型資源站（sota.jiqizhixin.com）即可獲取本文中包含的模型實(shí)現(xiàn)代碼、預(yù)訓(xùn)練模型及 API 等資源。

本文將分 3 期進(jìn)行連載，共介紹 16個(gè)在語音識(shí)別任務(wù)上曾取得 SOTA 的經(jīng)典模型。

第 1 期：SRCNN、DRCN、FSRCNN、ESPCN、SRGAN、RED

第 2 期：VDSR、DRRN、LapSRN、RCAN、DSRN

第 3 期：SFT-GAN、CSRCNN、CSNLN、HAN+、Config (f)

您正在閱讀的是其中的第 1 期。前往 SOTA！模型資源站（sota.jiqizhixin.com）即可獲取本文中包含的模型實(shí)現(xiàn)代碼、預(yù)訓(xùn)練模型及 API 等資源。

本期收錄模型速覽

圖像超分辨率（Super Resolution，SR）是指從低分辨率（Low Resolution，LR）圖像中恢復(fù)高分辨率（High Resolution, HR）圖像的過程，是計(jì)算機(jī)視覺和圖像處理中一類重要的圖像處理技術(shù)。SR在現(xiàn)實(shí)世界中有著廣泛的應(yīng)用，如醫(yī)療成像、監(jiān)控和安全等。除了提高圖像感知質(zhì)量外，SR還有助于改善其他計(jì)算機(jī)視覺任務(wù)。一般來說，超分辨率分析是非常具有挑戰(zhàn)性的，而且本身就是一個(gè)難題，因?yàn)榭偸怯卸鄠€(gè)HR圖像對(duì)應(yīng)于一個(gè)LR圖像。在已有文獻(xiàn)中，研究人員提出了各種經(jīng)典的SR方法，包括基于預(yù)測(cè)的方法、基于邊緣的方法、統(tǒng)計(jì)方法、基于patch的方法和稀疏表示方法等。

近年來，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的SR模型得到了快速發(fā)展，并在SR的各種基準(zhǔn)上取得了最先進(jìn)的性能。各種各樣的深度學(xué)習(xí)方法已經(jīng)被應(yīng)用于SR任務(wù)，從早期的基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法到最近使用的生成對(duì)抗網(wǎng)絡(luò)的SR方法。一般來說，使用深度學(xué)習(xí)技術(shù)的SR方法在以下主要方面有所不同：不同類型的網(wǎng)絡(luò)架構(gòu)、不同類型的損失函數(shù)、不同類型的學(xué)習(xí)原理和策略等。

超分辨率分析可以分為視頻超分辨率VSR(Video Super Resolution) 和單幀超分辨率SISR(Single Image Super Resolution)，本文重點(diǎn)關(guān)注單幀超分辨率分析方法。本文聚焦于深度學(xué)習(xí)技術(shù)，回顧SISR中必備的TOP模型。

1、 SRCNN

本文首次提出將深度學(xué)習(xí)技術(shù)應(yīng)用于SR，得到經(jīng)典的SRCNN（Super-Resolution CNN）模型。SRCNN結(jié)構(gòu)很簡(jiǎn)單，但是效果很好。計(jì)算效率高，速度快。對(duì)于一個(gè)LR圖像，首先使用bicubic 插值到所需的尺寸得到圖像Y，然后學(xué)習(xí)一個(gè)映射F，使得F(Y)盡可能和ground-truth接近。該方法的完整學(xué)習(xí)過程包含三步：1)Patch extraction and representation，從Y中提取patches并表示為高維向量；Non-linear mapping，將高維向量映射到另一高維向量；reconstruction，整合上述的high-resolution patch-wise representation。上述三個(gè)步驟組成了一個(gè)卷積網(wǎng)絡(luò)。如圖1所示：

圖1 給定一個(gè)低分辨率的圖像Y，SRCNN的第一個(gè)卷積層提取一組特征圖。第二層將這些特征圖非線性地映射到高分辨率的patch表示上。最后一層結(jié)合空間鄰域內(nèi)的預(yù)測(cè)，生成最終的高分辨率圖像F (Y)

Patch extraction and representation。在圖像恢復(fù)中有一個(gè)常用的策略就是從圖像密集提取圖像塊，然后用一組預(yù)先訓(xùn)練好的基（PCA、DCT、Haar等）來表示。這等同于用一組濾波器對(duì)圖像進(jìn)行卷積，每個(gè)濾波器對(duì)應(yīng)一個(gè)基。SRCNN的第一層可以如下表示：

其中，W1對(duì)應(yīng) n1個(gè)濾波器，每個(gè)濾波器大小為 c×f_1 ×f_1 ，其中，c是圖像通道數(shù)，RGB就是3通道，灰度圖像是單通道。f_1是濾波器尺寸。卷積之后就得到n1個(gè)特征圖。接著對(duì)濾波器響應(yīng)應(yīng)用 ReLU，即 max(0,x)。

Non-linear mapping。經(jīng)過上一步卷積，我們得到一個(gè)n1維特征向量，對(duì)應(yīng)一個(gè)圖像塊，這一步，將一個(gè)n1維特征向量映射到一個(gè)n2維向量。對(duì)于大的濾波器，非線性映射不是對(duì)應(yīng)圖像塊，而是對(duì)應(yīng)特征圖中的 "塊"。這一步可以看做如下卷積：

Reconstruction。這一步就是對(duì)高分辨率圖像塊的權(quán)值平均，這個(gè)平均可以看做對(duì)一組特征圖的一個(gè)預(yù)先定義的濾波器，使用下面的卷積表示：

在SRCNN中，上述三個(gè)步驟作為一個(gè)卷積網(wǎng)絡(luò)共同訓(xùn)練。

當(dāng)前SOTA！平臺(tái)收錄SRCNN共57個(gè)模型實(shí)現(xiàn)。

項(xiàng)目SOTA！平臺(tái)項(xiàng)目詳情頁SRCNN前往 SOTA！模型平臺(tái)獲取實(shí)現(xiàn)資源：https://sota.jiqizhixin.com/project/srcnn

2、 DRCN

SRCNN的層數(shù)較少，同時(shí)感受野也較小（13x13）。本文提出的DRCN (Deeply-Recursive Convolutional Network for Image Super-Resolution）使用更多的卷積層增加網(wǎng)絡(luò)感受野（41x41），同時(shí)為了避免過多網(wǎng)絡(luò)參數(shù)，使用遞歸神經(jīng)網(wǎng)絡(luò)（RNN）。網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖2，輸入圖像是原始LR圖像經(jīng)過插值上采樣后的圖像。

圖2 DRCN架構(gòu)

與SRCNN類似，DRCN分為三個(gè)模塊，第一個(gè)是Embedding network，相當(dāng)于特征提取；第二個(gè)是Inference network, 相當(dāng)于特征的非線性變換；第三個(gè)是Reconstruction network，即從特征圖像得到最后的重建結(jié)果。其中的Inference network是一個(gè)遞歸網(wǎng)絡(luò)，即數(shù)據(jù)循環(huán)地通過該層多次。將這個(gè)循環(huán)展開，就等效于使用同一組參數(shù)的多個(gè)串聯(lián)的卷積層。DRCN將每一層的卷積結(jié)果都通過同一個(gè)Reconstruction Net得到一個(gè)重建結(jié)果，從而共得到D個(gè)重建結(jié)果，再把它們加權(quán)平均得到最終的輸出。另外，受到ResNet的啟發(fā)，DRCN通過skip connection將輸入圖像與H_d的輸出相加后再作為Reconstruction Net的輸入（如圖2所示），相當(dāng)于使Inference Net去學(xué)習(xí)高分辨率圖像與低分辨率圖像的差，即恢復(fù)圖像的高頻部分。

以上得到的Basic Model 雖然簡(jiǎn)單且功能強(qiáng)大，但作者發(fā)現(xiàn)訓(xùn)練深度遞歸網(wǎng)絡(luò)非常困難（最多訓(xùn)練三個(gè)循環(huán)層）。作者分析有以下幾點(diǎn)原因：1）梯度的消失和爆炸。梯度爆炸是由鏈?zhǔn)教荻鹊某朔ㄐ再|(zhì)造成的。對(duì)于深度遞歸，可以呈指數(shù)增長(zhǎng)。梯度消失問題正好與梯度爆炸相反。梯度呈指數(shù)級(jí)的速度到零向量。因此，梯度爆炸和消失的存在使深度遞歸網(wǎng)絡(luò)掌握遠(yuǎn)距離像素信息間的關(guān)系非常困難。2）經(jīng)過多次遞歸想要保留原始LR信息并不容易。在SR任務(wù)中，輸出與輸入非常相似，所以LR圖像的信息非常重要，需要為后續(xù)更深的遞歸層保留輸入圖像的精確信息。3）存在一個(gè)尋找最優(yōu)遞歸次數(shù)的問題。如果遞歸對(duì)于給定的任務(wù)來說太深，就需要減少遞歸的次數(shù)。尋找最優(yōu)數(shù)需要訓(xùn)練許多具有不同遞歸深度的網(wǎng)絡(luò)。

由此，作者提出了如下改進(jìn)技術(shù)：1）Recursive-Supervision：監(jiān)督每層遞歸，以減輕梯度消失/爆炸的影響。假設(shè)在推理層中卷積過程反復(fù)使用相同的卷積核，使用相同的重建層來預(yù)測(cè)每一次遞歸重建的SR圖像。重建層輸出D個(gè)預(yù)測(cè)圖像，所有預(yù)測(cè)都在訓(xùn)練期間同時(shí)受到監(jiān)督。將所有D個(gè)預(yù)測(cè)圖像通過加權(quán)求和來計(jì)算最終輸出(權(quán)重由網(wǎng)絡(luò)學(xué)習(xí)得到)。通過遞歸減輕了訓(xùn)練遞歸網(wǎng)絡(luò)的困難，通過反向傳播將不同預(yù)測(cè)損失產(chǎn)生的反傳梯度求和提供平滑效果，能夠有效緩解梯度爆炸或消失。此外，由于監(jiān)督能夠利用所有中間層的預(yù)測(cè)信息，因此，對(duì)最佳遞歸次數(shù)選擇的重要性降低了。2）Skip-Connection：對(duì)于圖像重建任務(wù)，輸入和輸出圖像高度相關(guān)，所以可以直接通過skip層連接將LR信息直接傳輸?shù)絊R重建層。改進(jìn)后的Advanced Model如圖3所示。

圖3 (a): Advanced Model，帶有遞歸監(jiān)督和skip connection。重建網(wǎng)絡(luò)是共享的，用于遞歸預(yù)測(cè)。使用中間遞歸的所有預(yù)測(cè)來獲得最終的輸出。(b): 將深度監(jiān)督應(yīng)用于Basic Model。與(a)不同的是，(b)中的模型使用不同的重建網(wǎng)絡(luò)進(jìn)行遞歸，并且使用了更多的參數(shù)。(c): (a)的擴(kuò)展結(jié)構(gòu)示例，沒有參數(shù)共享（沒有遞歸）。權(quán)重參數(shù)的數(shù)量與深度的平方成正比

當(dāng)前SOTA！平臺(tái)收錄DRCN共1個(gè)模型實(shí)現(xiàn)。

項(xiàng)目SOTA！平臺(tái)項(xiàng)目詳情頁DRCN前往 SOTA！模型平臺(tái)獲取實(shí)現(xiàn)資源：https://sota.jiqizhixin.com/project/drcn

3、FSRCNN

本文旨在加速SRCNN，提出了一個(gè)compact hourglass-shape 的CNN結(jié)構(gòu)--FSRCNN，主要在三個(gè)方面進(jìn)行了改進(jìn)：1）在整個(gè)模型的最后使用了一個(gè)反卷積層放大尺寸，因此可以直接將原始的低分辨率圖像直接輸入到網(wǎng)絡(luò)中，而不需要像SRCNN一樣先通過bicubic方法放大尺寸。2）改變特征維數(shù)，使用更小的卷積核和使用更多的映射層。3）可以共享其中的映射層，如果需要訓(xùn)練不同上采樣倍率的模型，只需要fine-tuning最后的反卷積層。

由于FSRCNN不需要在網(wǎng)絡(luò)外部進(jìn)行放大圖像尺寸的操作，同時(shí)通過添加收縮層和擴(kuò)張層，將一個(gè)大層用一些小層來代替，因此FSRCNN與SRCNN相比有較大的速度提升。FSRCNN在訓(xùn)練時(shí)也可以只fine-tuning最后的反卷積層，因此訓(xùn)練速度也更快。FSRCNN與SCRNN的結(jié)構(gòu)對(duì)比如圖4所示。

圖4 該圖顯示了SRCNN和FSRCNN的網(wǎng)絡(luò)結(jié)構(gòu)。FSRCNN主要在三個(gè)方面與SRCNN不同。首先，F(xiàn)SRCNN采用原始的低分辨率圖像作為輸入，沒有進(jìn)行雙三次插值。在網(wǎng)絡(luò)的末端引入了一個(gè)解卷積層來進(jìn)行上采樣。第二，SRCNN中的非線性映射步驟被FSRCNN中的三個(gè)步驟所取代，即收縮、映射和擴(kuò)展步驟。第三，F(xiàn)SRCNN采用了更小的濾波器尺寸和更深的網(wǎng)絡(luò)結(jié)構(gòu)

FSRCNN的結(jié)構(gòu)如圖4下半部分所示。整個(gè)網(wǎng)絡(luò)可以被分解為5個(gè)部分：特征提取、壓縮、映射、擴(kuò)展、反卷積。其中前四部分都是卷積層conv(fi,ni,ci)，第五部分是反卷積層deconv(fi,ni,ci)，其中，fi,ni,ci分別為核尺寸、核數(shù)量、核通道。作者將網(wǎng)絡(luò)中的變量分為敏感變量和不敏感變量（敏感是指微小改變即可對(duì)網(wǎng)絡(luò)結(jié)果造成很大影響），其中不敏感變量可以預(yù)設(shè)，而敏感變量則需根據(jù)實(shí)驗(yàn)比較得出其值。

特征提取：這部分是和SRCNN相似的，不同點(diǎn)在于FSRCNN不經(jīng)過對(duì)LR圖像的插值，而是直接從LR圖像提取子圖塊信息。若輸入圖像為灰度圖像，則核深度為1，而核的數(shù)量決定了該層卷積輸出的特征圖的維度d。后續(xù)會(huì)將特征圖送入真正的SR過程，所以維度d至關(guān)重要，d是第一個(gè)敏感變量，需要實(shí)驗(yàn)對(duì)比得出。該層可記為conv(5,d,1)。

壓縮：這部分主要考慮到SRCNN中直接在高維特征圖上對(duì)LR做SR，先對(duì)LR圖像通道數(shù)進(jìn)行減小，然后在低維LR特征圖進(jìn)行SR操作，這樣會(huì)減少運(yùn)算參數(shù)，最后再對(duì)生成的SR圖像進(jìn)行升維操作。使用s個(gè)1 X 1 大小的濾波核，對(duì)來自特征提取層的d維圖像進(jìn)行降維處理（從d降到s），s是第二個(gè)敏感變量，這可以為后續(xù)的SR操作減少參數(shù)量。該層可記為conv(1,s,d)。

非線性映射：這部分最重要的兩個(gè)參數(shù)為特征圖的通道數(shù)（d，即核的數(shù)量）和深度（卷積層的層數(shù)m，m是第三個(gè)敏感變量），深度m決定了SR的精度和復(fù)雜度。卷積核的尺寸為3X3，因此該部分可記為mXconv(3,s,s)。

擴(kuò)展：擴(kuò)展部分使用d個(gè)1X1大小的核，以期恢復(fù)到壓縮前的圖像形狀。壓縮、非線性映射、擴(kuò)展這三部分是對(duì)稱的。擴(kuò)展部分可記為conv(1,d,s)。

反卷積：可視為卷積的逆操作，可以將小尺寸的圖像恢復(fù)成大尺寸的圖像。參照?qǐng)D5，通過在deconv前移動(dòng)一個(gè)步長(zhǎng)，得到deconv后移動(dòng)的兩個(gè)步長(zhǎng)的區(qū)域，這樣就可以實(shí)現(xiàn)對(duì)圖像放大2倍的操作了。為了保持對(duì)稱結(jié)構(gòu)，需要采用9X9大小的濾波器。該層可記為deconv(9,1,d)。反卷積不同于傳統(tǒng)的插值方法，傳統(tǒng)的方法對(duì)所有的重建像素都有一套共同的重建公式，而反卷積的核需要學(xué)習(xí)得到，它能夠針對(duì)具體的任務(wù)得出更精確的結(jié)果。

圖5 FSRCNN由卷積層和反卷積層組成

PReLU：直接給出公式f(xi) = max(xi,0) + ai*min(0,xi)，在原來relu 的基礎(chǔ)上，對(duì)負(fù)半軸的梯度也能激活（即使很小），消除了部分梯度無法激活的情況。

全局結(jié)構(gòu)：Conv(5, d, 1) - PReLU - Conv(1, s, d)-PReLU - m×Conv(3, s, s) - PReLU-Conv(1, d, s) - PReLU - DeConv(9, 1, d)。從全局來看，有三個(gè)參數(shù)d、s、m影響著網(wǎng)絡(luò)的性能和速度，所以將網(wǎng)絡(luò)記為FSRCNN(d,s,m)，計(jì)算復(fù)雜度可由下式表示：

當(dāng)前SOTA！平臺(tái)收錄FSRCNN共8個(gè)模型實(shí)現(xiàn)。

項(xiàng)目SOTA！平臺(tái)項(xiàng)目詳情頁

FSRCNN

4、ESPCN

在SRCNN和DRCN中，低分辨率圖像都是先通過上采樣插值得到與高分辨率圖像同樣的大小，再作為網(wǎng)絡(luò)輸入，意味著卷積操作在較高的分辨率上進(jìn)行，相比于在低分辨率的圖像上計(jì)算卷積，會(huì)降低效率。本文提出一種在低分辨率圖像上直接計(jì)算卷積得到高分辨率圖像的高效率亞像素卷積神經(jīng)網(wǎng)絡(luò)（efficient sub-pixel convolutional neural network，ESPN）。

圖6. ESPN有兩個(gè)卷積層用于提取特征圖，還有一個(gè)亞像素卷積層將LR空間的特征圖聚合起來，并在一個(gè)步驟中建立SR圖像

ESPN的核心概念是亞像素卷積層(sub-pixel convolutional layer)。如上圖所示，網(wǎng)絡(luò)的輸入是原始低分辨率圖像，通過兩個(gè)卷積層以后，得到的特征圖像大小與輸入圖像一樣，但是特征通道數(shù)量為r^2(r是圖像的目標(biāo)放大倍數(shù))。將每個(gè)像素的r^2個(gè)通道重新排列成一個(gè)r x r的區(qū)域，對(duì)應(yīng)于高分辨率圖像中的一個(gè)r x r大小的子塊，從而將大小為r^2 x H x W的特征圖像重新排列成1 x rH x rW大小的高分辨率圖像。這個(gè)變換雖然被稱作sub-pixel convolution, 但實(shí)際上并沒有卷積操作。通過使用sub-pixel convolution, 在將圖像從低分辨率到高分辨率放大的過程中，插值函數(shù)被隱含地包含在前面的卷積層中，可以自動(dòng)學(xué)習(xí)而得到。只在最后一層對(duì)圖像大小做變換，前面的卷積運(yùn)算由于在低分辨率圖像上進(jìn)行，因此效率會(huì)較高。

首先將一個(gè)l層卷積神經(jīng)網(wǎng)絡(luò)直接應(yīng)用于LR圖像，然后利用一個(gè)子像素卷積層將LR特征圖放大，生成SR圖像I^。對(duì)于一個(gè)由L層組成的網(wǎng)絡(luò)，前L-1層可以描述如下：

在LR空間中，一個(gè)跨度為1/r的卷積與一個(gè)大小為ks、權(quán)重間隔為1/r的濾波器Ws進(jìn)行卷積，能夠激活Ws的不同部分。落在像素之間的權(quán)重沒有被激活，不需要計(jì)算。激活模式的數(shù)量正好是r^2。每個(gè)激活模式，根據(jù)其位置，最多有[ks/r]^2個(gè)權(quán)重被激活。在整個(gè)圖像的濾波卷積過程中，根據(jù)不同的子像素位置，這些模式被周期性地激活：mod (x,r)、 mod (y,r) w，其中x，y是HR空間中的輸出像素坐標(biāo)。本文提出了一種有效的方法來實(shí)現(xiàn)上述操作，當(dāng)mod(ks,r)=0時(shí)：

因此卷積算子W_L具有n_L-1×r^2C×k_L×k_L的形狀。請(qǐng)注意，我們不對(duì)最后一層的卷積的輸出施加非線性約束。當(dāng)k_L = k_s/r和mod (k_s, r) = 0時(shí)，它等同于LR空間中的子像素卷積。將新層稱為亞像素卷積層，由此，網(wǎng)絡(luò)稱為高效亞像素卷積神經(jīng)網(wǎng)絡(luò)（ESPN）。最后一層從LR特征圖中直接生成HR圖像，每個(gè)特征圖都有一個(gè)放大的濾波器。

最終ESPN網(wǎng)絡(luò)目標(biāo)函數(shù)為：

當(dāng)前SOTA！平臺(tái)收錄ESPCN共14個(gè)模型實(shí)現(xiàn)。

項(xiàng)目SOTA！平臺(tái)項(xiàng)目詳情頁ESPCN前往 SOTA！模型平臺(tái)獲取實(shí)現(xiàn)資源：https://sota.jiqizhixin.com/project/espcn

5、 SRGAN

深度卷積神經(jīng)網(wǎng)絡(luò)在單個(gè)圖像實(shí)現(xiàn)超分辨率在速度和精度上取得了突破，但是仍然存在一個(gè)核心問題：當(dāng)在放大因子下的超分辨率時(shí)，如何恢復(fù)細(xì)小的紋理細(xì)節(jié)？基于這些問題：本文提出了一種用于圖像SR的生成對(duì)抗網(wǎng)絡(luò)SRGAN（Super-Resolution Using a Generative Adversarial Network），并且根據(jù)GAN網(wǎng)絡(luò)結(jié)構(gòu)提出了一種新的視覺損失（ perceptual loss），其中包含對(duì)抗損失（adversarial loss）和內(nèi)容損失（content loss）。

圖7. SRGAN的生成器和鑒別器網(wǎng)絡(luò)結(jié)構(gòu)，每個(gè)卷積層都有相應(yīng)的核大小（k）、特征圖數(shù)量（n）和步長(zhǎng)（s）

如圖7所示網(wǎng)絡(luò)結(jié)構(gòu)，在訓(xùn)練SRGAN的生成器網(wǎng)絡(luò)過程中需要提供HR圖像。首先對(duì)HR圖像進(jìn)行下采樣得到相應(yīng)的LR圖像，然后將LR圖像作為生成器的輸入，訓(xùn)練生成器，使之輸出對(duì)應(yīng)的HR圖像。作者提出用深度殘差網(wǎng)絡(luò)（ResNet）作為生成器的生成對(duì)抗網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)中存在很多的skip connection。為了區(qū)分真實(shí)的HR圖像和生成的HR圖像，還訓(xùn)練了一個(gè)鑒別器，使用了LeakeyReLU作為激活函數(shù)，網(wǎng)絡(luò)層數(shù)從64到512，后面連接兩個(gè)全連接層和一個(gè)sigmoid層，用來判斷是否為同一圖像的概率。

文章將代價(jià)函數(shù)改進(jìn)為：

第一部分是基于內(nèi)容的代價(jià)函數(shù)，第二部分是基于對(duì)抗學(xué)習(xí)的代價(jià)函數(shù)。基于內(nèi)容的代價(jià)函數(shù)除了像素空間的最小均方差以外，又包含了一個(gè)基于特征空間的最小均方差，該特征是利用VGG網(wǎng)絡(luò)提取的圖像高層次特征：

對(duì)抗學(xué)習(xí)的代價(jià)函數(shù)是基于鑒別器輸出的概率：

當(dāng)前SOTA！平臺(tái)收錄SRGAN共5個(gè)模型實(shí)現(xiàn)。

項(xiàng)目SOTA！平臺(tái)項(xiàng)目詳情頁SRGAN前往 SOTA！模型平臺(tái)獲取實(shí)現(xiàn)資源：https://sota.jiqizhixin.com/project/srgan

6、 Red

本文提出了一個(gè)由對(duì)稱的卷積層——反卷積層構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)，稱為Red-Net（Residual Encoder-Decoder Networks）。如圖8所示，其網(wǎng)絡(luò)結(jié)構(gòu)是對(duì)稱的，每個(gè)卷積層都對(duì)應(yīng)有反卷積層，卷積層將輸入圖像尺寸減小后，再通過反卷積層上采樣變大，使得輸入輸出的尺寸一樣。卷積層用于提取圖像的特征，相當(dāng)于編碼的作用。而反卷積層用于放大特征的尺寸并恢復(fù)圖像細(xì)節(jié)。每一組鏡像對(duì)應(yīng)的卷積和反卷積都由skip connection將兩部分具有同樣尺寸的特征進(jìn)行相加操作后再輸入到下一個(gè)反卷積層。這樣的結(jié)構(gòu)能夠讓反向傳播信號(hào)能夠直接傳遞到底層，解決了梯度消失問題，同時(shí)能將卷積層的細(xì)節(jié)傳遞給反卷積層，從而恢復(fù)出更干凈的圖像。與此同時(shí)，網(wǎng)絡(luò)中有一條線是將輸入的圖像連接到后面與最后的一層反卷積層的輸出相加，因此，整個(gè)模型架構(gòu)中間的卷積層和反卷積層學(xué)習(xí)的特征是目標(biāo)圖像和低質(zhì)圖像之間的殘差。

圖8.網(wǎng)絡(luò)整體結(jié)構(gòu)。該網(wǎng)絡(luò)包含對(duì)稱卷積（編碼器）和反卷積（去編碼器）層。每隔幾層（在本文實(shí)驗(yàn)中是兩層）就有一個(gè)skip shortcuts，從卷積特征圖到其鏡像的反卷積特征圖。卷積層的響應(yīng)被直接傳播到相應(yīng)的鏡像反卷積層，包括前向和后向傳播

具體來說，各個(gè)組成部分的作用如下：

卷積：特征提取，隨卷積進(jìn)行，提取圖像特征同時(shí)抑制噪聲，經(jīng)過多層卷積后，提取圖像特征，同時(shí)降低噪聲的影響。

反卷積：針對(duì)特征的上采樣，完成由圖像特征到圖像的轉(zhuǎn)換，由于利用的是過濾噪聲后的圖像特征，因此達(dá)到了降噪、圖像修復(fù)的目的。

Skip connections：保留更多的圖像細(xì)節(jié)，協(xié)助反卷積層完成圖像的恢復(fù)工作；反向傳播過程中的梯度反向，減少梯度消失，加快模型訓(xùn)練。

當(dāng)前SOTA！平臺(tái)收錄RED共16個(gè)模型實(shí)現(xiàn)。

項(xiàng)目SOTA！平臺(tái)項(xiàng)目詳情頁RED前往 SOTA！模型平臺(tái)獲取實(shí)現(xiàn)資源：https://sota.jiqizhixin.com/project/red30-2

前往 SOTA！模型資源站（sota.jiqizhixin.com）即可獲取本文中包含的模型實(shí)現(xiàn)代碼、預(yù)訓(xùn)練模型及API等資源。

網(wǎng)頁端訪問：在瀏覽器地址欄輸入新版站點(diǎn)地址sota.jiqizhixin.com，即可前往「SOTA！模型」平臺(tái)，查看關(guān)注的模型是否有新資源收錄。

移動(dòng)端訪問：在微信移動(dòng)端中搜索服務(wù)號(hào)名稱「機(jī)器之心SOTA模型」或 ID「sotaai」，關(guān)注 SOTA！模型服務(wù)號(hào)，即可通過服務(wù)號(hào)底部菜單欄使用平臺(tái)功能，更有最新AI技術(shù)、開發(fā)資源及社區(qū)動(dòng)態(tài)定期推送。