李飛飛世界模型新成果:Spark 2.0 將 1 億個 3D 高斯點流式傳輸至瀏覽器

李飛飛世界模型新成果:Spark 2.0 將 1 億個 3D 高斯點流式傳輸至瀏覽器

Spark 2.0 核心突破:超大規模 3D 世界流式傳輸

斯坦福大學教授李飛飛旗下的 AI 世界模型公司 World Labs 近日發布並開源了最新成果 Spark 2.0。該模型基於 Three.js 構建,利用 WebGL2 技術,能夠將包含超過 1 億個 splats(3D 高斯點/潑濺點)的超大型 3D 世界,以流式傳輸的方式傳遞到任意設備上。

這項技術的突破在於解決了以往 3D 世界渲染與傳輸的瓶頸。Spark 2.0 設計了新的數據格式 RAD(RADiance fields),使得手機、VR 設備、桌面電腦以及 iOS、Android 系統都能夠運行並體驗這個超規模的 3D 世界。

技術原理:從單張圖片到永久 3D 世界

從技術層面來看,World Labs 的目標是讓 AI 僅憑一張照片或提示詞,就能「腦補」出整個場景的完整幾何結構。這包括識別哪些表面是平面的、哪些是凹凸不平的、物體之間的空間關係、深度感知、光照效果以及材質細節。

與以往需要大量數據訓練或計算資源不同的 Spark 2.0,其生成的 3D 世界具有持久性與一致性。用戶可以通過簡單的圖像輸入,生成一個更大、風格更多樣且 3D 幾何結構更清晰的永久 3D 世界,並支持無限探索。

應用場景與開放性

該成果不僅限於學術研究,更強調其實用價值與開放性。World Labs 將模型開源,允許開發者與研究者基於此基礎進行二次開發與應用。無論是在虛擬現實(VR)體驗、教育模擬,還是日常娛樂中,Spark 2.0 都展示了將複雜 3D 場景輕量化並部署到端側設備的潛力。

返回頂端