《電子技術應用》
您所在的位置:首頁 > 人工智能 > 設計應用 > 復雜景觀圖像的語義多狀態圖像風格遷移
復雜景觀圖像的語義多狀態圖像風格遷移
電子技術應用
桑晨浩,莫路鋒,屠國青
浙江農林大學 數學與計算機科學學院
摘要: 復雜景觀圖像包含具有不同特征的各種對象,傳統的風格遷移方法無法在同一圖像中對不同對象進行局部風格遷移。CycleGAN可以通過偽監督策略在沒有配對樣本的情況下實現風格遷移。但是CycleGAN無法實現對復雜風景圖像中不同類別對象的風格遷移;同時CycleGAN在復雜場景中的泛化能力不足且復雜度高。因此,提出了一種基于語義類別的復雜風景多狀態圖像生成方法,即語義類別風格遷移(Semantic Category Style Transfer,SCST),能夠有效地結合局部特征實現復雜風景的圖像生成。同時提出了上下文感知的風格遷移模型GCycleGAN。實驗結果表明本文提出的GCycleGAN的性能優于CycleGAN、DualGAN和Munit等基于深度學習的圖像生成模型。
中圖分類號:TP389.1 文獻標志碼:A DOI: 10.16157/j.issn.0258-7998.245971
中文引用格式: 桑晨浩,莫路鋒,屠國青. 復雜景觀圖像的語義多狀態圖像風格遷移[J]. 電子技術應用,2025,51(6):40-46.
英文引用格式: Sang Chenhao,Mo Lufeng,Tu Guoqing. Multi-state image generation of complex landscapes via semantic category style transfer[J]. Application of Electronic Technique,2025,51(6):40-46.
Multi-state image generation of complex landscapes via semantic category style transfer
Sang Chenhao,Mo Lufeng,Tu Guoqing
College of Mathematics and Computer Science, Zhejiang Agricultural and Forest University
Abstract: Complex landscape images contain various objects with different characteristics, and traditional style transfer methods are unable to perform local style transfer on different objects within the same image. CycleGAN can achieve style transfer without paired samples through a pseudo-supervised strategy. However, CycleGAN fails to transfer styles between different categories of objects in complex landscape images; moreover, it lacks generalization ability in complex scenes and has high complexity. Therefore, this paper proposes a method for generating complex landscape multi-state images based on semantic categories, namely Semantic Category Style Transfer (SCST), which effectively combines local features for the generation of complex landscape images. Additionally, this paper introduces a context-aware style transfer model called GCycleGAN. Experimental results show that the performance of the proposed GCycleGAN is superior to that of deep learning-based image generation models such as CycleGAN, DualGAN, and Munit.
Key words : landscape;local style transfer;SCST;CycleGAN;Gated-MLP;image generation

引言

圖像風格遷移(IST)是圖像生成領域的一個熱門研究主題[1],可應用于城市規劃、景觀設計、文化藝術等領域。其目的是將X領域中的風景圖像轉移到Y領域。因此,各種IST研究相繼應用于景觀設計[2]。語義分割與 CycleGAN 的結合最近已成為景觀圖像局部風格遷移的主流,旨在轉移景觀圖像中特定對象的風格。Kurzman 等人[3]設計了一種兩階段局部遷移模型,實現了城市街道中真實圖像與地面物體的流行藝術之間的局部風格遷移。Duan 等人[4]使用手工制作的語義分割和 CycleGAN,將城市景觀圖像中交通標志的紋理風格進行遷移。Kim 等人[5]利用 CycleGAN 和語義掩膜,將真實景觀圖像中的對象轉換為動漫風格。但是,CycleGAN用于復雜景觀的多狀態圖像生成仍存在兩方面的不足。首先,它的圖像上下文感知能力還有待進一步提升。盡管文獻[6]和文獻[7]探索了Vision Transformer通過self -attention捕獲景觀圖像上下文信息的有效性,但該方法參數量較大,容易過擬合,且難以訓練[8]。其次,其無法針對圖像中不同對象分別進行風格轉換,例如,不同的樹種在不同季節的風格轉換中有不同的表現。這使得CycleGAN無法很好地應用于復雜景觀圖像的風格遷移和多狀態的圖像生成。

針對以上兩個方面的問題,本文提出一種基于語義類別風格遷移的復雜景觀的多狀態圖像生成方法SCST(Semantic Category Style Transfer),根據復雜景觀圖像中不同語義類別的特征,實現對各個語義類別區域的局域風格遷移。在SCST中,首先通過語義分割確定復雜景觀圖像中各個區域的語義類別。然后按照各個語義類別所代表對象在目標狀態下的變化特征,采用改進的具有上下感知的風格遷移模型GCycleGAN對各個語義類別區域分別進行風格遷移。GCycleGAN通過在CycleGAN的生成器與判別器的主干特征提取網絡引入更輕量的Gated-MLP[9],降低參數量和模型復雜度的同時加快訓練收斂速度,通過全局信息與局部信息的融合,提高處理信息的效率和準確性,從而訓練出更加準確的生成模型。最后結合語義分割結果,將風格遷移后的各個區域融合到一起,得到最終的全局風格遷移的目標狀態景觀圖像。


本文詳細內容請下載:

http://m.rjjo.cn/resource/share/2000006560


作者信息:

桑晨浩,莫路鋒,屠國青

(浙江農林大學 數學與計算機科學學院,浙江 杭州 311300)


Magazine.Subscription.jpg

此內容為AET網站原創,未經授權禁止轉載。
主站蜘蛛池模板: 久久综合九九 | 成人亚洲在线观看 | 国产一有一级毛片视频 | 欧美成人免费全部观看天天性色 | 亚洲欧美日韩色 | 午夜爽爽爽视频 | 精品国产美女福利到在线不卡 | 亚洲国产天堂久久综合网站 | 女人张开双腿让男人 | 久久777国产线看是看精品 | 中文字幕日韩精品在线 | 日本一区视频在线观看 | 长腿嫩模打开双腿呻吟 | 1024手机基地在线看手机 | a毛片视频免费观看影院 | 国产情侣无套精品视频 | 俄罗斯一级成人毛片 | 天堂视频在线免费观看 | 韩国一级特黄清高免费大片 | 免费看欧美一级特黄a毛片 免费看片aⅴ免费大片 | 亚洲特级黄色片 | 18视频网站在线观看 | 欧美视频不卡 | 国内精品久久久久久影院老狼 | 亚洲国产精品久久久久秋霞不卡 | 亚洲欧美字幕 | 欧美俄罗斯一级毛片激情 | 亚洲码在线观看 | 久草观看视频 | 香港黄页亚洲一级 | 国产精品视频九九九 | 步兵社区在线观看 | 久久亚洲国产中v天仙www | 免费毛片a | 日韩欧美视频在线一区二区 | 欧美大片在线观看成人 | 成人做爰视频www在线观看 | 精品欧美激情在线看 | 国产精品日本欧美一区二区 | 国产精品久久国产精品99盘 | 亚洲免费视频网 |