萬字解讀首篇“人臉復原”綜述!南大、中山、澳國立、帝國理工等聯合釋出

首頁 > 科技

萬字解讀首篇“人臉復原”綜述!南大、中山、澳國立、帝國理工等聯合釋出

來源:天氣早知道 釋出時間:2022-11-21 15:50

  新智元報道  

編纂:LRS 好睏

【新智元導讀】「人臉復原」技術首篇綜述!

近年來,跟著深度學習的發展和大規模資料集的泛起,深度學習在許多領域也取得了進展,但其中「人臉復原」(Face Restoration)任務仍舊缺乏系統性的綜述。

最近,來自南京大學、澳大利亞國立大學、中山大學、帝國理工學院和騰訊的研究者們全面回顧並總結了基於深度學習的人臉復原技術的研究進展,對人臉復原方法進行了分類,討論了網路架構、損失函式和基準資料集,並對現有SOTA方法進行了系統性機能評測。

論文連結:https://arxiv.org/abs/2211.02831

倉庫連結:https://github.com/TaoWangzj/Awesome-Face-Restoration

這篇文章也是人臉復原領域首篇綜述,其主要貢獻為:

1. 回顧了人臉復原任務中主要的退化模型、常用的評價指標,並總結了人臉影象顯著性的特點;

2. 總結了目前人臉復原面臨的挑戰,對現有方法進行分類及概述。方法主要包括兩大類:基於先驗的深度學習復原方法和無先驗的深度學習復原方法;

3. 梳理了方法中使用的基本網路架構、基本網路模組、損失函式和尺度資料集;

4. 在公共基準資料集上對現有SOTA方法進行了系統性實驗評測;

5. 分析了人臉復原任務未來發展前景。

文章的整體架構

研究背景

人臉復原(Face Restoration, FR)是底層視覺中一個特定的影象復原題目,旨在從低質量的輸入人臉影象中恢復出高質量的人臉影象。通常來說,退化模型可以描述為:

其中I(lq)是低質量人臉影象, D是與噪聲不相關的退化函式, n是加性高斯噪聲。當退化函式D不同的時候,就對應了不同的退化模型。因此,FR任務可以視為是求解上述退化模型的逆過程,它可以表示為:

其中根據退化函式不同,人臉復原任務主要可以分為以下五大類,其分別對應著不同的退化模型:

1.人臉去噪任務(Face Denoising, FDN):去除人臉影象中的噪聲,恢復出高質量的人臉;

上一篇:感知隨芯而動... 下一篇:基金份額賣出...
猜你喜歡
熱門閱讀
同類推薦