編輯：桃子拉燕


尼奧在「黑客帝國」中發現自己生活的世界並非真實存在，而是被精心設計的模擬現實。
‍而你，有沒有那麼一瞬間，認為我們生活的世界，就是模擬的矩陣世界。
而現在，矩陣正式開啟。
靜心感受，這個人類生存已久的地球，大自然的一切，都是虛幻世界。
北極冰川太陽升起。海底世界中的千奇百怪的魚群、五彩斑斕的珊瑚礁。
高山飛雪，老鷹在浩瀚無垠的天空中翱翔。熾熱沙漠，凶險的蛇自由穿梭。
河邊小樹，燃起熊熊烈火，煙霧繚繞。
清澈見底的大海和小溪，海龜在沙灘慵懶地曬著太陽，許多蜻蜓在空中嬉戲。
岩洞中光與影的變幻。
嘩嘩墜落的雨滴、隨風飄落的楓葉，時間瞬間戛然而止。
你所見皆是人工智能設計的。它們的模擬是如此逼真，甚至被所有人誤認為是現實本身。
打開這扇矩陣大門的團隊來自普林斯頓，研究一出瞬間在網上瞬間引起軒然大波。
網友紛紛表示，原來我們生活在矩陣中！
論文中，研究人員引入了一個自然世界的逼真3D場景程序生成器「Infinigen」。
Infinigen完全是程序化的，從形狀到紋理，都是通過隨機的數學規則從頭開始生成。
甚至，還能變換無窮，覆蓋了大自然界的植物、動物、地形，還有火、雲、雨和雪等自然現象。
最新論文已被CVPR 2023接收。

論文地址：https://arxiv.org/pdf/2306.09310.pdf
Infinigen建立在免費和開源的圖形工具Blender上，同樣Infinigen也是開源的。
值得一提的是，3.5個小時就能生成一對1080p的圖像！

無限CV數據生成器


普林斯頓大學提出的Infinigen可以輕鬆定制，生成各種特定任務的真實情況。
如下，模擬大自然界中的多樣性。
而它最主要的作用就在於，能夠作為作為無限訓練數據的生成器，用於廣泛的計算機視覺任務。
其中，包括目標檢測、語義分割、姿態估計、3D重建、視圖合成和視頻生成。
此外，它還可以用於構建訓練物理機器人，以及虛擬具身智能體的模擬環境。
當然了，3D打印、遊戲開發、虛擬現實、電影製作和一般的內容創作都可用。
接下來，看看Infinigen系統是如何被設計出來的。
Blender的預演。
研究人員主要使用Blender開發程序化規則，Blender是一個開源的三維建模軟件，提供各種基元和實用工具。
Blender將場景表現為擺放對象的層次結構。
而用戶通過轉換對象、添加基元和編輯網格來修改這一表示。
Blender提供了大多數常見3D文件格式的導入/導出。
最後，Blender中的所有操作都可以通過其Python API自動完成，或者通過檢查其開源代碼。
節點轉譯器。
作為Infinigen的一部分，研究人員開發了一套新的工具來加速研究人員的程序化建模。
一個值得注意的例子是研究人員的節點轉換器，它可以自動將節點圖轉換為Python代碼，如圖所示。
由此產生的代碼更加通用，並允許研究人員隨機化圖形結構，而不僅僅是輸入參數。
這個工具使結點圖更具表現力，並允許與其他直接用Python或C++開發的程序化規則輕鬆整合。
它還允許非程序員通過製作節點圖為Infinigen貢獻Python代碼。
生成器子系統。 Infinigen是由生成器組成的，生成器是概率程序，每個程序都專門用於生成一個子類的資產（如山或魚）。
每個發生器都有一套高級參數（如山的整體高度），反映了用戶可控制的外部自由度。
在默認情況下，研究人員根據為反映自然界而調整的分佈對這些參數進行隨機抽樣，沒有用戶的輸入。
然而，用戶也可以使用研究人員的Python API覆蓋任何參數，以實現對數據生成的細粒度控制。
下圖是隨機的、且僅包含地形的場景。研究人員為各種自然場景類型選擇了13張圖片。
分別為：山脈、上漲的河水、雪山、海岸日出、水下、北極冰山、沙漠、洞穴、峽谷和浮島。
下圖則是隨機生成的模擬火焰的圖片，包括煙霧、瀑布，以及火山噴發的場景。
樹葉、鮮花、蘑菇、松果。
樹木、仙人掌、灌木。
海洋生物。
各種類型的地表。
下圖則是生物的生成。
研究人員自動生成了不同基因組（a）、身體部位（b）、身體部位拼接（c）、毛髮（d）和體態（e）。
圖片右側則是研究人員展示的隨機生成的食肉動物、食草動物、鳥類、甲蟲和魚類。
在下圖中，研究人員按程序組成一個隨機的場景佈局（a）。
研究者生成所有必要的圖片內容（b，用來顯示每個網格面的顏色），並應用程序化材料和位移（c）。
最後再渲染一個真實的圖像（d）。
下圖展示的是動態分辨率縮放。
研究人員展示了三個相機距離不同，但內容相同的特寫網格可視化視圖。
儘管網格分辨率不同，但在最終的圖像中看不到任何變化。

實驗結果


為了對Infinigen進行評估，研究人員製作了30K的圖像對，這些圖像有用於矯正立體匹配的地面實景。
研究人員在這些圖像上開始訓練RAFTStereo，並在Middlebury驗證集和測試集上對結果進行了比較。
這項研究代碼在今天剛剛公佈，已經收攬99顆星。

「西部世界」既視感


英偉達科學家Jim Fan表示，當我們在現實中沒有好的訓練數據時，模擬是便下一個「金礦」。
這裡，Infinigen便是一個開源的、程序化生成的、用於3D視覺的逼真數據集。其質量是驚人的！沒有兩個世界是相同的。
▸ 每一個小細節都是隨機和可定制的，甚至是花瓣上的褶皺！
▸ 自然界的各種物體和場景：植物、動物、地形；火、雲、雨和雪。
▸ 基準真實值自動註釋：光流、三維場景流、深度、表面法向量、全景分割、封閉邊界。
▸ 用Blender編寫。
有網友表示，這真是讓我大開眼界。在Blender中程序化生成3D世界。不使用AI，就可以創建任何你能想像的世界。
結合像這樣的工具來創造世界，像Daz3D這樣的工具來創造角色，Blockade Labs來創造天空盒，Convai來創造NPC。
還有人表示Infinigen將在人工智能計算機視覺研究中發揮作用。
他認為未來人工智能將handle所有一切。
比如，我們想在一個有霧的森林裡面做一個有瀑布的村莊。
我們告訴一個人工智能寫一個關於森林的詳細描述，再發送到3D世界生成器。
世界生成後，就可以在村莊里添加人物角色。這些人將由人工智能控制，他們將有互動、對話和記憶。
一種西部世界的趕腳。
另外，有網友稱程序生成已經存在了20年（我已經做了15年）。 「No Man's SKy」是5年前技術的一個很好的例子。
Infinigen的亮點在於它生成標記數據。這些數據可用於訓練AI。這就很瘋狂。
還有網友暢想，在不遠的將來，遊戲會變得瘋狂……「獨立」遊戲開發者將能夠推出一些瘋狂的高端內容。
Infinigen生成太過逼真，以至於有人認為這是虛幻引擎生成的。

作者介紹


Alexander Raistrick
Alexander Raistrick是普林斯頓大學計算機系的二年級博士生，導師是Jia Deng 。
Lahav Lipson
Lahav Lipson是普林斯頓大學三年級博士生。
他研究重點是為三維視覺構建深度網絡，利用關於極線幾何的強大假設來實現更好的泛化和測試準確性。
Zeyu Ma
Zeyu Ma是普林斯頓大學視覺與學習實驗室的三年級博士研究生。他曾於2020年獲得清華大學電子工程學士學位。目前的研究重點是多視圖3D重建和程序數據生成。
最後，獻上完整視頻。