AI「腦補」畫面太強了!李飛飛團隊新作ZeroNVS,單個視圖360度全場景生成
新智元報道
編輯:桃子
【新智元導讀】斯坦福和谷歌團隊提出了ZeroNVS,可以實現單個圖像零樣本360度試圖合成。
近來,利用3D感知擴散模型訓練模型,然後對單個物體進行SDS蒸餾的研究數不勝數。
但是,能夠真正做到「場景級」的畫面生成,從未實現。
現如今,斯坦福李飛飛和谷歌團隊打破了這個記錄!
比如,輸入一張從某個角度拍攝的客廳圖片,整個客廳的樣貌就出來了。
再來一張角度很偏的屋子拐角圖,也能生成一個意想不到的空間。
還有各種物體室內、戶外的全場景圖。
看到這兒,不得不不讓人驚呼AI「腦補」簡直強的一批!
那麼,這究竟是如何實現的呢?
3D感知擴散模型——ZeroNVS
最新論文中,斯坦福和谷歌研究人員引入了一種3D感知擴散模型——ZeroNVS。
論文地址:https://arxiv.org/pdf/2310.17994.pdf
單圖像、360度新視圖合成 (NVS) 的模型,在生成圖像時應該逼真且多樣化。
合成圖像對於我們來說,應該看起來自然且3D一致,並且它們還應該捕獲不可觀察區域的許多可能的解釋。
以往,這個具有挑戰性的問題,通常是在單個物體,甚至沒有背景下研究的,也就是說,對真實性和多樣性的要求都被簡化了。
最近的研究依賴於高質量大規模數據集,比如Objaverse-XL,使得條件散射模型能夠從新視角產生逼真圖像,然後通過SDS蒸餾採樣,以提高3D一致性。
同時,由於圖像多樣性主要體現在背景中,而不是物體中,因此對背景的無知顯着降低了合成多樣化圖像的效果。
事實上,大多數以物體對象爲中心的方法,不再將多樣性視爲衡量標準。
然而,在複雜真實場景生成新視角合成是一個更難的問題,目前還沒有包含完整場景真值信息的大規模數據集。
研究人員在研究中對背景進行了建模,以產生多樣的結果。
在ZeroNVS中,作者開發了新技術來預測單個真實圖像的場景,並且建立在之前在3D感知擴散模型訓練(Zero-1-to-3)和SDS蒸餾(DreamFusion)方面的工作基礎上。
具體方法
研究人員着手從單個真實圖像合成場景級新穎視圖的問題。
與之前的工作類似,我們首先訓練擴散模型來執行新穎的視圖合成,然後利用它來執行3D SDS蒸餾。
與之前的工作不同地方在於,作者關注的是場景而不是物體。
場景提出了一些獨特的挑戰。首先,先前的研究使用攝像機和比例的表示,這些表示對於場景來說要麼含糊不清,要麼表達力不足。
其次,先前研究的推理過程是基於 SDS 的,它具有已知的模式崩潰問題,並且通過大大減少預測視圖中的背景多樣性在場景中體現出來。
與之前的工作相比,研究人員嘗試了通過「改進場景的表示」和「推理程序」來應對這些挑戰。
在這個公式中,M的輸出,和單個圖像的輸入是模型可用於視圖合成的唯一信息。
表示視圖綜合的對象
如下圖,3DoF相機姿勢捕獲指向原點的相機的相機仰角、方位角和半徑,但無法表示相機的滾動(如圖)或空間中任意方向的相機。
具有這種參數化的模型無法在現實世界數據上進行訓練,其中許多相機姿勢不能用3DoF姿勢充分表示。
表示視圖合成的通用場景
對於場景,研究人員應該使用具有6個自由度的相機表示,可以捕獲所有可能的位置和方向。
捕獲六個自由度的相機參數化的一種直接選擇是相對位姿參數化。研究人員建議還將視野作爲額外的自由度,並將這種組合表示稱爲「6DoF+1」。
M 6DoF+1的一個吸引人的特性是它對於場景的剛性變換具有不變性,因此可以得到:
對於每個歸一化方案,ZeroNVS中多個樣本的Sobel邊緣圖方差的熱圖。研究者提出的方案M 6DoF+1,觀察者減少了由於尺度模糊而導致的隨機性。
通過SDS anchoring提高多樣性
基於SDS的NeRF蒸餾(左)對所有360度新視圖使用相同的引導圖像。
作者的「SDS anchoring」(右)首先通過DDIM對新視圖進行採樣,然後使用最近的圖像(無論是輸入還是採樣的新視圖)作爲指導。
實驗結果
再具體評估中,研究人員使用了一組標準的新視圖合成指標來評估所有方法:PSNR、SSIM和LPIPS。
由於PSNR和SSIM有已知缺點,研究人員更看重LPIPS,並確認PSNR和SSIM與問題設置中的性能沒有很好的相關性,如圖7所示。
結果如表1所示。
首先與基線方法 DS-NeRF、PixelNeRF、SinNeRF、DietNeRF進行比較。
儘管所有這些方法都是在DTU上進行訓練的,但研究人員從未在DTU上進行過訓練,但實現了最先進的LPIPS零樣本。
圖8中顯示了一些定性比較。
DTU場景僅限於相對簡單的前向場景。
因此,研究人員還引入了一個更具挑戰性的基準數據集,即Mip-NeRF 360數據集,來對單張圖像的360度視圖合成任務進行基準測試。
研究人員使用這個基準作爲零樣本基準,並在混合數據集上訓練3個基線模型來比較零樣本性能。
限制這些零樣本模型,其方法在該數據集的LPIPS上遙遙領先。在DTU上,新方法在所有指標上都超過了Zero-1-to-3和零樣本PixelNeRF模型,而不僅僅是LPIPS,如表2所示。
作者介紹
Kyle Sargent
斯坦福大學的一名博士生,從2022年秋季開始,在斯坦福人工智能實驗室工作,導師是Jiajun Wu和李飛飛。
他還曾在谷歌研究院擔任學生研究員。
參考資料:
https://twitter.com/drfeifei/status/1719778264947016077