华艺网站建设,有南昌网站优化公司,网页设计版心常用尺寸,软装设计师资格证摘要 随着隐式神经表示或神经辐射场 (NeRF) 的流行#xff0c;迫切需要与隐式 3D 模型交互的编辑方法#xff0c;以完成后处理重建场景和 3D 内容创建等任务。虽然之前的作品从不同角度探索了 NeRF 编辑#xff0c;但它们在编辑灵活性、质量和速度方面受到限制#xff0c;无… 摘要 随着隐式神经表示或神经辐射场 (NeRF) 的流行迫切需要与隐式 3D 模型交互的编辑方法以完成后处理重建场景和 3D 内容创建等任务。虽然之前的作品从不同角度探索了 NeRF 编辑但它们在编辑灵活性、质量和速度方面受到限制无法提供直接的编辑响应和即时预览。关键的挑战是构思一种本地可编辑的神经表示它可以直接反映编辑指令并立即更新。为了弥补这一差距我们提出了一种新的隐式表示交互式编辑方法和系统称为 Seal-3D它允许用户以像素级和自由的方式编辑 NeRF 模型并具有广泛的类 NeRF 主干网并预览 立即编辑效果。为了实现这些效果我们提出的代理函数将编辑指令映射到 NeRF 模型的原始空间以及具有局部预训练和全局微调的student-teacher训练策略来解决这些挑战。NeRF 编辑系统旨在展示各种编辑类型。我们的系统可以以约1秒的交互速度实现引人注目的编辑效果。 工程链接https://windingwind.github.io/seal-3d/ 框架 左图用户编辑后目标空间的 3D 点和视图方向映射到原始源空间以从教师模型获取指导 ct、σt 以进行学生训练。右图学生训练由两个阶段组成快速预训练通过局部损失更新网络的部分参数来提供即时预览以及全局损失的微调。 实验结果 第一个交互式像素级 NeRF 编辑工具。我们设计了一种交互式用户编辑方法和系统 Seal-3D通过我们新颖的预训练策略实现了即时约 1 秒预览左。通过短时间1~2分钟的微调可以进一步获得高质量的编辑结果。我们实施编辑的编辑结果工具右与原始表面左上丰富的阴影细节例如阴影在视图上保持一致。 3D内容编辑 结论 我们引入了一个用于神经辐射场像素级编辑的交互式框架支持即时预览。具体来说我们利用student-teacher蒸馏方法提供编辑指导并设计两阶段训练策略来实现网络即时收敛以获得粗略结果作为预览。与以前的工作不同我们的方法不需要任何显式代理例如网格从而提高了交互性和用户友好性。我们的方法还支持在编辑的表面上保留着色效果。一个限制是我们的方法不支持复杂的依赖于视图的照明效果例如镜面反射并且不能改变场景照明这可以通过引入内在合成来改进。此外我们的方法不处理原始 NeRF 网络的重建失败例如浮动伪影。
