用2D圖像生成3D模型,微軟新AI模型或成遊戲業福音

將2D圖像轉換為3D圖像,對於視頻遊戲開發人員、電子商務公司、動畫公司來說,至關重要,但這並不容易。包括Facebook,英偉達等科技巨頭的人工智能(AI)研究實驗室,以及一些初創公司都在這個領域裡不斷探索。

近日,微軟研究院(Microsoft Research)的研究團隊發表瞭一篇預印論文,他們在論文中詳細介紹瞭一個新的AI框架,該框架采用“可縮放”訓練技術,可將2D圖像進行3D形狀的模擬生成。研究人員表示,在使用2D圖像進行訓練時,該框架始終可以比現有的模型生成效果更好的3D形狀,這對於遊戲開發、視頻制作、動畫等領域是一個極佳的自動化工具。

用2D圖像生成3D模型,微軟新AI模型或成遊戲業福音

微軟AI模型生成的3D沙發、椅子和浴缸

通常來說,一個模型框架要將2D轉換為3D圖像,需要通過柵格化處理來進行微分步驟渲染,因此,過去研究人員在該領域的努力都專註於開發定制渲染模型。然而,通過此類模型處理的圖像會顯得不夠真實自然,也不適合用於生成遊戲以及圖形產業的工業效果圖。

微軟團隊則是使用瞭工業渲染器,這個渲染器可以根據顯示數據來生成圖像。此外,研究人員還訓練瞭3D形狀生成模型,以便渲染形狀,並生成與2D數據集分佈相匹配的圖像。換句話說,這是一種新穎的代理神經渲染器,可以直接渲染由3D形狀生成模型生成的連續體素網格。

在實驗過程中,研究團隊在上述3D形狀生成模型中采用瞭3D卷積GAN架構。GAN又稱為生成式對抗網絡,是一個由兩部分組成的AI模型,它可以基於3D模型生成的數據集和真實的數據集,合成來自不同對象類別的圖像,並在整個訓練過程中從不同角度進行渲染。

用2D圖像生成3D模型,微軟新AI模型或成遊戲業福音

微軟AI模型生成的3D蘑菇圖像

此外,研發人員在論文中表示,它們的新方法還充分利用瞭2D照片中光照和陰影的信息,具體而言,是利用表面之間的曝光差值,進行檢測凹面和凸面,以及內部結構,從而判斷物體三維物體的中心,從而實現更好的模擬訓練,生成更逼真的3D模型。

據研究人員介紹,他們的下一步計劃是將整套方法整合出一個相對完整的系統,將顏色、材料、光照等細節統統加入進來,從而打造一個“更為全面”真實照片轉換三維模型的數據集。

Published in News by Awesome.

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *