建一个网站需要什么,装修公司宣传册设计样本,广州营销推广公司,标识设计案例Deep Imagination Research | NVIDIA
目录
一、Abstract
二、核心内容
1、多视图扩散模型
3、重建模型#xff1a;
4、数据处理模块#xff1a;
三、结果 1、文本到 3D 生成结果
2、图像到 3D 生成结果
3、四边形网格拓扑结构 一、Abstract NVIDIA 开发的用于高质量…Deep Imagination Research | NVIDIA
目录
一、Abstract
二、核心内容
1、多视图扩散模型
3、重建模型
4、数据处理模块
三、结果 1、文本到 3D 生成结果
2、图像到 3D 生成结果
3、四边形网格拓扑结构 一、Abstract NVIDIA 开发的用于高质量 3D 资产生成的 Edify 3D 模型。该模型通过多视图扩散模型合成物体的 RGB 外观和表面法线图像再用重建模型预测 3D 形状的几何、纹理和基于物理的渲染PBR材质Edify 3D能够在 2 分钟内生成具有详细几何结构、清晰形状拓扑、高分辨率纹理和材质的 高质量3D 资产。
1、能在短短两分钟内生成包含完整 UV 贴图、4K 纹理和 PBR 材质的高品质 3D 模型
2、采用独特的技术架构将多视角扩散模型与基于 Transformer 的重建技术相结合
3、支持文本到 3D 生成和图像到 3D 生成
4、能生成具有精确网格结构的 3D 模型保证纹理的高分辨率和材质贴图的完整性可生成多样化的 3D 资产
5、具有出色的技术扩展性随着训练视角数量的增加模型生成的图像质量和一致性不断提升
6、可用于生成复杂的 3D 场景通过与大语言模型LLM结合根据文本提示定义场景布局、物体位置和尺寸创建连贯且真实的 3D 场景组合。
PSUV贴图用于将 2D 纹理映射到 3D 模型表面从而使模型具有真实的外观细节
二、核心内容
Edify 3D 模型
核心能力文本到 3D 生成和图像到 3D 生成。模型设计基于扩散模型和 Transformer训练多视图扩散模型和重建模型。 Edify 3D的最终输出是一个3D资产其中包括网格几何、纹理贴图和材质贴图。 Edify 3D 的工作流程 1、文本提示Text prompt 图的左上角有一个文本提示“A steampunk robot turtle with rusty mechanical parts.”一只带有生锈机械部件的蒸汽朋克机器龟。 2、多视图扩散模型Multi - view diffusion model 文本提示作为输入进入多视图扩散模型。该模型生成多个视角的 RGB 图像RGB images这些图像展示了机器龟从不同角度的外观。 3、多视图 ControlNetMulti - view ControlNet 多视图扩散模型生成的 RGB 图像作为输入进入多视图 ControlNet。该模型生成多个视角的法线图像Normal images这些图像展示了机器龟表面的法线方向。 4、重建模型Reconstruction model 多视图 RGB 图像和法线图像作为输入进入重建模型。重建模型生成潜在 3D 标记Latent 3D tokens。 5、等值面提取和网格处理Isosurface extraction mesh processing 潜在 3D 标记经过等值面提取和网格处理生成网格几何Mesh geometry。 6、光栅化低分辨率纹理和表面法线Rasterize low - resolution texture and surface normal 网格几何用于光栅化低分辨率纹理和表面法线。 7、放大 ControlNetUpscaling ControlNet 低分辨率纹理和表面法线作为输入进入放大 ControlNet。该模型生成高分辨率 RGB 图像。 8、更新Update 高分辨率 RGB 图像被用于更新纹理贴图Texture map和材质贴图Material map。 9、最终 3D 资产3D asset 最终生成的 3D 资产包括网格几何、纹理贴图和材质贴图。图的右下角展示了最终生成的 3D 机器龟模型。 1、多视图扩散模型 根据输入的文本提示和相机姿态来合成 RGB 外观从不同的角度合成物体的外观。训练出以下模型
基本的多视图扩散模型基于输入文本提示和相机姿态合成RGB外观。多视图 ControlNet它以多视图 RGB 合成和文本提示为条件合成物体的表面法线。这意味着它可以根据输入的多个视角的图像信息以及文本描述来推断出物体表面的法线方向从而为后续的 3D 重建提供更准确的几何信息。多视图放大 ControlNet以给定 3D 网格的光栅化纹理和表面法线为条件将多视图 RGB 图像超分辨率到更高分辨率。它利用已有的纹理和表面法线信息对图像进行放大处理提高图像的清晰度和细节 使用 Edify Image模型NVIDIA 2024 作为基础扩散模型架构具有27亿个参数的U-Net在像素空间中操作扩散。ControlNet 编码器使用来自U-Net的权重进行初始化并扩展了原始文本到图像的扩散模型中的自注意层 用一种新的机制来关注不同的视图 作为一个具有相同权重的视频扩散模型。摄像机的pose旋转和平移通过一个轻量级的MLP进行编码该MLP随后被作为时间嵌入添加到视频扩散模型架构中。 多视图 ControlNet ControlNet 的神经网络架构用于为大型预训练文本到图像扩散模型添加空间条件控制。ControlNet 通过锁定预训练模型的参数并利用其强大的编码层作为骨干学习各种条件控制从而实现更精细的图像生成控制。 3、重建模型 重建模型以多视图 RGB 和表面法线图像为输入利用基于 Transformer 的模型预测 3D 形状的几何、纹理和材料。通过一系列处理步骤最终得到 3D 资产的网格几何、纹理图和材质图。基于Transformer 的模型对看不见的物体图像具有很强的泛化能力 包括从二维多视图扩散模型的合成输出。
模型选择与 3D 表示
Decoder-Only Transformer 模型我们采用了一种仅含解码器的 Transformer 模型。Transformer 架构在自然语言处理等领域有广泛应用其特点是基于注意力机制来处理序列数据能够很好地捕捉长距离依赖关系。这里使用的仅含解码器的版本重点在于根据输入生成相应的输出在这个情境下是用于后续的 3D 重建相关任务。潜在 3D 表示为三平面Triplanes模型的潜在 3D 表示采用了三平面的形式。三平面是一种对 3D 信息进行编码和表示的方式它可以将 3D 空间的信息以一种特定的结构进行组织以便于模型后续对 3D 数据的处理和分析。
输入条件与注意力机制
输入作为重建模型的条件输入的 RGB 图像和法线图像在这里充当重建模型的条件。RGB 图像提供了物体的颜色等外观信息法线图像则给出了物体表面的法线方向等几何信息。交叉注意力层应用在三平面标记和输入条件之间应用了交叉注意力层。交叉注意力机制可以让模型在处理过程中更好地关注到输入条件中的不同部分与三平面标记之间的关联从而更有效地利用输入信息来生成准确的 3D 重建结果。
三平面标记处理与预测
通过 MLPs 处理三平面标记三平面标记会通过多层感知机MLPs进行处理。MLPs 是一种常见的神经网络结构能够对输入数据进行非线性变换在这里用于进一步处理三平面标记挖掘其中蕴含的信息。预测神经场经过 MLPs 处理后三平面标记用于预测有符号距离函数SDF和基于物理的渲染PBR属性的神经场。神经场是一种对空间中各点属性进行描述的数学表示通过预测这些神经场可以得到关于物体在 3D 空间中的几何形状通过 SDF以及材质等外观属性通过 PBR 属性的相关信息。
基于 SDF 的渲染与 3D 网格生成
基于 SDF 的体渲染预测得到的神经场用于基于 SDF 的体渲染。体渲染是一种将 3D 数据渲染成 2D 图像的技术通过基于 SDF 的方式可以根据物体的几何形状准确地渲染出其在不同视角下的外观。3D 网格生成神经有符号距离函数Neural SDF通过等值面提取被转换为 3D 网格。3D 网格是 3D 模型的一种常见表示形式它由一系列的顶点、边和面组成通过等值面提取从神经 SDF 中获取到合适的表面信息从而构建出 3D 网格这是得到最终 3D 模型几何形状的重要步骤。
4、数据处理模块 对 3D 形状数据进行预处理包括格式转换、质量过滤、姿态对齐、PBR 渲染和 AI 字幕等操作以提高数据质量和适用性为模型训练做好准备
格式转换将所有 3D 形状转换为统一格式包括三角化网格、打包纹理文件和将材料转换为金属 - 粗糙度格式丢弃损坏的纹理或材料的形状3。质量过滤从大规模 3D 数据集中过滤出非对象中心的数据通过多轮主动学习使用 AI 分类器去除部分 3D 扫描、大型场景、形状拼贴以及包含辅助结构的形状还应用基于规则的过滤去除有明显问题的形状4。姿态对齐通过主动学习将训练形状对齐到其规范姿态对于缺乏明确正面的形状定义功能部分为正面并优先保持左右对称5。PBR 渲染使用内部路径追踪器对 3D 数据进行逼真渲染采用多样化的相机参数采样技术以适应不同的使用场景6。AI 字幕为每个 3D 形状渲染一张图像使用视觉语言模型VLM生成长短字幕并提供形状的元数据以增强字幕的全面性 PBR 属性处理 烘焙到纹理和材质贴图基于物理的渲染PBR属性通过 UV 映射被烘焙到纹理贴图和材质贴图中。UV 映射是一种将 3D 模型表面映射到 2D 平面的技术通过这种方式可以将 PBR 属性准确地赋予到相应的纹理和材质贴图上。 包含的属性内容这些 PBR 属性包括反照率颜色以及诸如粗糙度和金属度通道等材质属性。反照率颜色决定了物体表面反射光线的能力粗糙度和金属度等属性则进一步描述了物体表面的材质特性通过将这些属性烘焙到纹理和材质贴图中可以使最终生成的 3D 模型具有更加真实的外观和材质表现。 三、结果 1、文本到 3D 生成结果 展示了输入的文本提示以及所生成资源的渲染图和表面法线。生成的 3D 网格包含精细的几何形状和清晰的纹理反照率颜色分解良好使其适用于各种下游编辑和渲染应用。 2、图像到 3D 生成结果 将输入的参考图像以及所生成资源的渲染图和表面法线进行可视化展示。Edify 3D 能够准确地还原参考对象的潜在 3D 结构同时还能够在未被观察到的表面区域例如杯子的背面生成精细的纹理。 3、四边形网格拓扑结构 Edify 3D 以具有清晰拓扑结构的四边形网格形式生成资源使其适用于下游编辑工作流程。我们将所生成资源的四边形网格拓扑结构与其基于物理的渲染PBR图并排展示出来以便进行可视化观察。 四、相关工作
1、3D资产生成 概念3D 资产生成是指通过一系列技术手段创建三维资产的过程。3D 资产是指存在于三维空间中的数字化对象包括 3D 模型、纹理、材质、动画等元素。这些资产可用于多种领域如影视制作、游戏开发、虚拟现实VR、增强现实AR、建筑设计、工业设计等。生成方法包括手工建模如多边形建模、NURBS 建模、扫描技术如激光扫描、结构光扫描、基于图像的建模如摄影测量法、图像深度学习建模等。此外还包括材质与纹理生成以及动画生成等方面。 3D资产生成的挑战通常通过在3D数据集上训练模型来解决但这些数据集的稀缺性限制了泛化能力。为了克服这一问题最近的方法转向使用在大规模图像和视频数据集上训练的模型。得分蒸馏采样SDS已被早期方法采用并扩展到图像条件3D生成模型。然而它们通常处理速度较慢并且容易出现诸如两面神脸问题等问题。为了提高性能新技术整合了多视图图像生成模型专注于生成可重建为3D模型的多个一致视图。然而在这些视图之间保持一致性仍然是一个挑战这导致了从有限视图增强重建鲁棒性的方法的发展。
2、从多视图图像进行3D重建 从有限视图生成3D资产通常涉及3D重建技术通常使用可微渲染可利用各种3D表示如神经辐射场NeRF。网格是工业3D引擎中最常用的格式但从多视图图像重建高质量网格具有挑战性。传统的摄影测量流程包括运动结构SfM、多视图立体MVS和表面提取成本高且耗时通常产生低质量的结果。虽然基于NeRF的神经渲染方法可以实现高质量的3D重建但它们需要密集的图像和大量的优化并且将辐射场转换为网格可能会导致次优结果。为了解决这些限制基于Transformer的模型通过学习前馈先验进一步改进了从稀疏视图进行的3D NeRF重建。
3、纹理和材质生成 早期针对给定3D形状的3D纹理生成方法包括用于文本对齐的CLIP和SDS损失优化。为了提高3D感知能力一些文本到3D方法将纹理修复与深度条件扩散相结合尽管速度较慢且更容易产生伪影。为了增强一致性其他技术将扩散与重投影交替进行或同时生成多个带纹理的视图但计算成本较高。为了进一步增强真实感一些方法启用了多视图PBR建模以扩展对生成材质属性的支持。
