文:Alex
現有技術已容許相片在拍攝後才對焦,若然再進一步,相片能否在拍攝後才打燈補光,甚至重新建構光線照射效果?來自加州大學聖地亞哥分校和 Google 的一組研究人員和工程師,成功利用人工智能,「重新照亮」(Relight)一張普遍的人像相片,效果令人驚喜。
▲(註:影片無聲效)
研究人員以 18 個人為樣本,在實驗室內從各個角度照亮他們,然後透過 7 支不同位置的相機,記錄出現在他們身上的光影變化。神經網絡根據這些數據進行深度學習。目前研究人員可以輸入由智能手機拍攝的普通照片,並任意調整照明效果,包括:光線的方向、色溫和質量,但背景卻可保持不變。
▲研究人員從多個角度照亮樣本,然後透過 7 支不同位置的相機,記錄光影變化,作為深度學習的數據。
研究人員以簡介短片示範該技術的成果。在示範中(由 1:50 開始),「Complete Relighting」代表使用指定光源進行演算,意味光源的特性如:方向、色溫及照射範圍等均有詳細設定;「Illumination Retargeting」代表模擬原相的光源,重新建講光影效果(由 4:20 開始)。他們指出,目前該技術可在 0.16 秒之內計算出 640 x 640 解像度的圖案。雖然離實際應用目標仍然有一段距離,但至少表明該技術有能力做得到。
▲使用指定光源進行演算,光源的特性如:方向、色溫及照射範圍等理論上均可改變。
▲模擬原有的光源,重新建講光影效果。
▲原相的主要光源相片的左邊。經過人工智能處理,主要光源移至右邊。
最後,值得一提的是,該團隊的大多數研究人員都是 Google 或 Google Research 的成員;論文主要作者目前雖仍在加州大學聖地亞哥分校進行研究,但最近亦成為 Google Research 的研究實習生。有理由相信,該技術若發展成熟的話,相信有可能會首先 Google 智能手機上現身。
來源:PetaPixel