中科大&微軟提出挑圖神器: GIQA,一鍵挑出高質量圖像!
在做生成模型時,用一個生成網(wǎng)絡生成了一批圖,為了挑選幾張最好的做demo,可能要花費大量的時間精力。為了解決該問題,中國科學技術大學在讀博士古紓旸等人提出了一個全新的研究方向:生成圖片質量評估(GIQA)。通過對單張生成圖片質量的打分,我們可以“一鍵”挑出高質量的圖。
本文首次提出對生成模型生成圖片的質量進行定量,客觀地衡量這一新的研究課題,并提出了幾種解決方案和一個數(shù)據(jù)集去衡量這些方案。通過豐富的實驗證明了這個課題有了寬廣的應用。
這些年來,深度生成模型取得了巨大的進展,誕生了很多有趣的應用,然而,并非所有生成的結果都很完美。如下圖所示,圖中四個角上的圖片均為StyleGAN在一只貓的數(shù)據(jù)集上生成結果。在這些圖片中,既有很多高質量的貓(右下),也有很多圖質量很差(完全看不出來是貓,左下)。
以往大家為了評估哪張圖生成的好,往往都是要靠人來判斷,這需要花費大量人力成本。在實際應用中,由于對于生成圖片的最差質量缺少把控,很多產(chǎn)品遭受到了各種質疑。基于此,我們提出了生成圖像質量評估(GIQA)這一研究方向,并希望用評估算法對生成圖片的質量進行自動的打分。為了實現(xiàn)這個目的,我們從基于學習的和基于數(shù)據(jù)的兩個角度提出了三種解決方法,利用這些方法,我們能夠實現(xiàn)對生成圖片的質量進行打分,同時實現(xiàn)很多有趣的應用。上圖中展示了我們對一個模型的生成圖片進行打分的分布結果,在右下、右上、左上、左下中我們分別展示了模型評價的從高質量到低質量的生成圖片,可以觀察到我們算法評價的質量基本上和人的評價是一致的。
下面將介紹我們是怎么實現(xiàn)用算法進行生成圖片質量評價的。
基于學習的GIQA
我們發(fā)現(xiàn),在訓練GAN的時候,生成圖片的質量會隨著迭代次數(shù)的增加而變好。一個簡單的想法是用迭代次數(shù)當質量的“偽標簽”,通過監(jiān)督式的學習,來學一個打分器,對生成圖片的質量進行打分。然而,用迭代次數(shù)當質量并不精確,我們通過多個二分類器(Multiple binary classifiers)回歸標簽來平滑去噪,通過平均這些分類器的分數(shù),可以極大的增強魯棒性和泛化能力。我們稱之為MBC-GIQA。
數(shù)據(jù)驅動GIQA
我們重新思考質量評估這個問題,發(fā)現(xiàn)“質量”很難定義好。生成模型希望能生成服從已有的真實數(shù)據(jù)分布(real distribution)的圖片,因此,我們認為“質量”表征的是一張生成圖片和真實數(shù)據(jù)分布的接近程度。通俗的說,就是一張生成圖片有多大可能性來自于真實分布。這個概率越大,表示質量越高。因此,另一個直觀的想法是對真實分布直接建模。我們根據(jù)建模是參數(shù)化模型還是非參數(shù)化模型分成兩部分。
參數(shù)化模型:GMM-GIQA
我們將用高斯混合模型(GMM)來擬合真實數(shù)據(jù)分布在特征層面的特征。對于一張待測的圖片I,我們先提取他特征x,這個特征x在真實數(shù)據(jù)分布中出現(xiàn)的概率就表示了該圖的質量。

請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機器人及智能工廠展
-
7月31日免費預約>> OFweek 2025具身智能機器人產(chǎn)業(yè)技術創(chuàng)新應用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
-
8月5日立即報名>> 【在線會議】CAE優(yōu)化設計:醫(yī)療器械設計的應用案例與方案解析
推薦專題