GET3D (Nvidia)
美国
做图AI

GET3D (Nvidia)

GET3D是一个从图像中学习高质量3D纹理形状的生成模型。该模型利用了深度学习技术,可以从2D图像数据中生成逼真的3D纹理形状,具有很高的精度和准确性。

NVIDIA GET3D是NVIDIA发布的产品,仅使用 2D 图像进行训练,可生成具有高保真纹理和复杂几何细节的三维图形。这些 3D 对象的创建格式与热门图形软件应用所用的格式相同,允许用户立即将其形体导入 3D 渲染器和游戏引擎,以便进行后续编辑。
GET3D 的名称源于其能够生成显式纹理 3D (Generate Explicit Textured 3D) 网格,这意味着它会以三角形网格的形式创建形体并使用纹理材质覆盖,就像 papier-mâché 模型一样。这使得用户能够轻松地将对象导入游戏引擎、3D 建模软件和电影渲染器,并进行编辑。
NVIDIA GET3D所生成的对象可用于建筑、户外空间或整个城市的 3D 表现,为游戏、机器人开发、建筑和社交媒体等行业量身打造。 GET3D 可以根据受训练时使用的数据生成几乎无限量的三维图形。就像一位艺术家将一块粘土制成精细的雕塑一样,该模型会将数字转换为复杂的三维图形。 
例如,借助 2D 汽车图像的训练数据集,它创建了轿车、卡车、赛车和面包车等系列集。当在动物图像上训练后,它会生成狐狸、犀牛、马和熊等生物。如果输入椅子时,模型会生成各种旋转椅、餐椅和舒适的躺椅。
在创作者将 GET3D 生成的形体导出到图形应用后,当这些物体移动或旋转时,就能使用逼真的照明效果。通过整合 NVIDIA Research 提供的另一种 AI 工具 StyleGAN-NADA,开发者可以使用文本提示将特定风格添加到图像中,例如将渲染出的汽车调整为被烧毁的汽车或出租车,或将普通房屋设置成鬼屋。
未来版本的 GET3D 可以使用摄像头姿态预估技术,让开发者能够使用真实世界的数据(而不是合成数据集)来训练模型。还可以对其进行改进以支持通用生成,这意味着开发者可以一次性训练用于各种三维图形的 GET3D,而不必每一次在一个对象类别上进行训练。

相关导航