文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.183313
中文引用格式： 安鶴男，張昌林，涂志偉，等. 雨密度感知分類引導擴張網絡對單張圖片去雨[J].電子技術應用，2019，45(2)：1-4.
英文引用格式： An Henan，Zhang Changlin，Tu Zhiwei，et al. Rain density classification guides the expansion network for rain removal from a single images[J]. Application of Electronic Technique，2019，45(2)：1-4.
0 引言
醫學圖像病例分析、土壤覆蓋率檢測等眾多領域都假設圖片足夠清晰。然而，在自然界中，類似霧、陰雨等惡劣的氣候壞境是不可避免的，這些惡劣天氣會嚴重降低圖片背景清晰度，破壞計算機視覺系統的性能。因此，從單張雨圖像中去除雨線條紋對于室外場景的監控系統有重要意義。
由于圖像中的雨密度分布不均勻特點，文獻[1]、[2]等去除雨線條紋算法在處理不同雨密度方面上傾向于去除雨線條紋，忽略了雨線條紋與背景信息的內在重疊，導致背景細節丟失。現有基于深度學習對單張圖片去除雨方法主要局限于學習某些固定特征的雨線，針對不同密度和形狀的雨，學習能力不足，以致去雨后背景細節丟失。針對這些問題，本文提出的雨密度感知引導擴張去雨網絡(簡稱RDSGER)解決對不同雨密度的圖片調整學習能力。本文將雨圖大致分為三類：大雨、中雨、小雨。圖1為數據集3種不同密度的雨圖。
1 相關工作
基于視頻的方法近幾年來取得不錯效果。例如：文獻[3]方法通過在極短的時間內視頻中的雨線相位保持一致的特點來檢測雨線，利用經典的高斯混合模型來提取雨線[4-5]。
與基于視頻去除雨的方法相比，單張圖片去除雨的方法缺少上下文時間序列信息，因此對單張圖片去除雨的研究更具挑戰性。傳統的基于補丁[6-7]、稀疏編碼[8-9]等方法將雨線看成高頻成分從單張圖像中分離，去雨同時會平滑背景細節信息。隨著深度學習在各個領域的突破性進展[10-11]，基于深度學習的單張圖片去雨也取得了重大突破。例如：文獻[12]利用小波變換和暗通道方法對單張圖片去雨；文獻[2]使用負殘差網絡提取雨線特征信息對單張圖片去雨。
2 提出方法
單張去除雨線條紋可以建模為如式(1)所示：
其中，x表示為干凈無雨圖片，s表示為雨線條紋，y表示為相應x背景的有雨圖片。本文提出的RDSGER網絡主要包括兩個模塊：細節雨密度分類器和擴張網絡去雨。細節雨密度分類器針對不同雨密度圖片正確分類；另一方面，雨密度分類信息引導擴張網絡學習雨線特征并去除雨紋。所提出的RDSGER方法的整個網絡架構如圖2所示。
2.1 雨密度感知分類器
圖像中的雨線條紋具有不同尺寸特征，單個去雨網絡學習不同密度的雨線特征能力不足。對不同雨密度圖片匹配相適應的去雨網絡，有利于網絡學習雨線的所有特征。本文提出細節雨密度感知分類網絡智能針對不同雨密度圖片分類評估。雨密度大致分為三類：大雨、中雨和小雨，標簽分別對應0、1、2。
基于CNN模型的圖片分類研究取得突破進展。例如：Res-Net[13]、VGG-16[14]等對圖片分類方法主要集中圖片的局部特征，泛化圖片特征加速訓練。然而雨線條紋遍布整張圖片，使用CNN方法對圖片雨線所有特征捕獲不足，分類正確率不高。針對這一問題，本文提出細節雨密度分類網絡，利用細節網絡針對雨區中的雨線特征定位并提取雨線條紋。圖2上方為雨密度感知分類網絡。細節層可用有雨圖片減去經過導向濾波[15-16]的結果表示。細節層中大部分區域像素基本接近為0，只有雨線條紋和背景對象邊緣細節保留在細節層中。這樣不僅消除背景信息對分類影響，同時有利于CNN聚合雨線特征提高分類正確率。分類器使用殘差網絡resnet-34[13]。
訓練優化分類器的損失函數如式(2)所示：
其中，D為雨密度感知分類器所有參數；y表示為不同密度的雨圖片；label表示不同雨密度的標簽，即大雨、中雨、小雨分別對應0、1、2；Lmse(，)為均方差。
2.2 擴張去雨網絡
不同的雨密度圖片具有的不同特征信息，使用同一大小卷積核聚合不同雨線特征能力較弱。本文提出的擴張網絡擴大卷積核的感受，同時聚合多尺寸雨線信息，以增強對不同雨密度圖片雨線特征提取。圖2中擴張網絡[1]是由擴張塊1（擴張因子為1）、擴張塊2（擴張因子為2）、擴張塊3（擴張因子為3）組成的。每個擴張塊的組成方式如下所示：
(1)擴張塊1由1個擴張降采樣層、4個卷積層、1個上采樣層組成。
(2)擴張塊2由2個擴張降采樣層、2個卷積層、2個上采樣層組成。
(3)擴張塊3由3個擴張降采樣層、3個上采樣層組成。
擴張降采樣層的圖片尺寸縮小為原來的一半，卷積層尺寸保持不變，上采樣層的圖片尺寸擴大一倍。為了進一步聚合來自不同尺寸雨線的特征，在每個擴張塊的內部使用跳轉鏈接（即第1塊輸出與第5塊輸出級聯，第2塊輸出與第4塊輸出級聯）以學習不同區域雨線特征，保留完整背景細節信息。圖3所示為擴張塊1的內部原理圖。
雨密度感知分類信息有利于引導擴張網絡針對不同密度雨的圖片調整學習能力，同時為了進一步保留完整背景信息。因此將上下文信息有雨圖片和擴張網絡以及雨密度分類網絡級聯后輸入到雨線特征提取網絡來捕獲雨線條紋。將有雨圖片減去雨線特征提取網絡捕獲的雨線條紋，得到去雨圖片。最后對圖片背景細節進一步優化，采用兩個不同深度的卷積核（卷積核大小分別為通道數為16，通道數為3）進行細節信息優化。圖2所示下方為擴張去雨網絡框架。
擴張去雨網絡損失函數如式(3)所示：
其中，f為擴張去雨網絡的所有參數，y為有雨圖片，x為相應干凈無雨圖片，Lmse(，)為均方差。
3 實驗結果與分析
為了評估網絡的性能，本文與其他3種去除雨線條紋方法在峰值信噪比（PSNR）和結構相似度（SSIM）做定量和定性對比。3種方法分別為：聯合擴張網絡對圖片去雨（簡稱JORDER）[1]、深度細節網絡對單張圖片去雨（簡稱Detail-net）[2]、基于小波變化方法對單張圖片去雨（SRR-net）[12]。
3.1 訓練數據集
實驗數據集基于文獻[17]數據集上訓練。訓練數據集包含3種不同雨密度圖片各4 000張，每類數據集中雨線分布為不同形狀和方向。測試數據集總共600張包含真實雨圖片。
3.2 網絡參數設計
3.2.1 擴張網絡參數設計
擴張塊1：降采樣層和卷積層使用3個大小分別為1、3、1的卷積層，上采樣層使用兩個大小為1、3的卷積層；擴張塊2：降采樣層和卷積層使用3個大小分別為1、3、1的卷積層，上采樣層使用兩個大小為1、5卷積層；擴張塊3：降采樣層和卷積層使用3個大小分別為1、3、1卷積層，上采樣層使用兩個大小為1、7的卷積層。
3.2.2 訓練分類器網絡參數
圖片大小隨機裁剪為512×512，使用Adam優化器，小批量數據為64，學習率初始化為0.003。Pytorch作為本文網絡訓練框架。
3.2.3 擴張去雨網絡參數
訓練期間，圖片大小隨機裁剪為512×512，使用Adam優化器，小批量數據大小為1，學習率初始化為0.002。
3.3 細節雨密度分類器結果
本文提出的細節雨密度分類器與基于CNN算法的resnet-34和VGG-16率比較如表1所示。可以看出本文提出的細節網絡消除背景細節對分類干擾，提高了對不同雨密度正確率。
3.4 合成數據集測試結果及分析
為了評估本文方法有效性，在本文測試數據集上與其他3種方法做定性和定量對比。表2所示為600張數據集方法的平均PNSR和SSIM對比結果，可以看出本文在PNSR和SSIM性能上的優異性。
為了直觀視覺感受本文提出方法的有效性，從合成的3種不同密度雨與其他3種方法測試做定性對比。如圖4所示，可以看出JORDER處理中小雨圖片雨線去除較干凈，但仍殘留雨線條紋，處理大雨時過度平滑背景。從第一行和第二行的第三列中看出，SRR-net處理大雨圖片時過度平滑背景細節特征，detail-net方法處理大雨圖片時留下過多的雨線條紋。本文提出方法在去除雨線條紋的同時能夠有效保留更多背景細節。
3.5 真實雨測試結果
在真實雨場景下與其他3種方法進行測試對比，結果如圖5所示。從第二行和第三行的第二列看出，Detail-net方法對真實場景去除雨會殘留雨線條紋；從第一行的第三、第四列雨滴細節變黑看出，SRR-net和JORDER方法去除雨線條紋會平滑背景細節。本文相較于其他3種方法去雨效果明顯，背景細節保留相對完整。
4 結論
單一神經網絡學習不同雨線特征能力弱，本文提出的細節雨密度感知擴張去雨網絡有效引導一定范圍雨密度的圖片匹配相適應網絡，提高了網絡對不同密度雨線特征調整學習能力，同時去雨后圖片保留了較完整背景細節。在合成和真實數據集進行測試對比，結果證明了本文擴張去除雨線條紋網絡的有效性。
參考文獻
[1] YANG W，TAN R T，FENG J，et al.Deep joint rain detection and removal from a single image[J].arXiv：1609.07769，2017.
[2] FU X，HUANG J，ZENG D，et al.Removing rain from single images via a deep detail network[C].IEEE Conference on Computer Vision and Pattern Recognition，2017：1357-1366.
[3] SANTHASEELAN V，ASARI V K.Utilizing local phase information to remove rain from video[J].International Journal of Computer Vision，2015，112(1)：71-89.
[4] BOSSU J，HAUTIERE N，TAREL J P.Rain or snow detection in image sequences through use of[J].International Journal of Computer Vision，2011，93(3)：348-367.
[5] DEYU M，LIXUAN Y，QIAN Z，et al.Should we encode rain streaks in video as deterministic or stochastic?[C].IEEE International Conference on Computer Vision，IEEE Computer Society，2017：2516-2525.
[6] LI Y，TAN R T，GUO X，et al.Rain streak removal using layer priors[C].IEEE Conference on Computer Vision and Pattern Recognition，2016：2736-2744.
[7] HUANG D A，KANG L W，YANG M C，et al.Context-aware single image rain removal[C].IEEE International Conference on Multimedia & Expo，2012：164-169.
[8] LUO Y，XU Y，JI H.Removing rain from a single image via discriminative sparse coding[C].IEEE International Conference on Computer Vision，2015：3397-3405.
[9] SON C H，ZHANG X P.Rain removal via shrinkage of sparse codes and learned rain dictionary[C].IEEE International Conference on Multimedia & Expo Workshops，2016：1-6.
[10] 黃睿，陸許明，鄔依林.基于TensorFlow深度學習手寫體數字識別及應用[J].電子技術應用，2018，44(10)：6-10.
[11] 王雅欣，史瀟瀟.基于生成對抗網絡的人臉熱紅外圖像生成[J].信息技術與網絡安全，2018，37（8）：40-44.
[12] SHEN L，YUE Z，CHEN Q，et al.Deep joint rain and haze removal from single images[J].arXiv：1801.06769v1，2018.
[13] HE K，ZHANG X，REN S，et al.Deep residual learning for image recognition[C].2016 IEEE Conference on Computer Vision and Pattern Recognition，2016：770-778.
[14] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[J].arXiv：1409.1556，2014.
[15] HE K，SUN J，TANG X.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，35(6)：1397-1409.
[16] ZHANG Q，SHEN X，XU L，et al.Rolling guidance filter[C].European Conference on Computer Vision，2014：815-830.
[17] ZHANG H，PATEL V M.Density-aware single image de-raining using a multi-stream dense Network[J].arXiv：1802.07412，2018.
作者信息:
安鶴男，張昌林，涂志偉，趙光軍，劉 佳，李 蔚
（深圳大學 電子科學與技術學院，廣東 深圳518061）