网站模板在线制作,国内在线免费服务器,手机可以做app的软件,网站开发公司怎么找客户Nerf简介 Nerf#xff08;neural Radiance Fileds#xff09; 为2020年ICCV上提出的一个基于隐式表达的三维重建方法#xff0c;使用2D的 Posed Imageds 来生成#xff08;表达#xff09;复杂的三维场景。现在越来越多的研究人员开始关注这个潜力巨大的领域#xff0c;也…Nerf简介 Nerfneural Radiance Fileds 为2020年ICCV上提出的一个基于隐式表达的三维重建方法使用2D的 Posed Imageds 来生成表达复杂的三维场景。现在越来越多的研究人员开始关注这个潜力巨大的领域也有方方面面关于 Nerf 的工作在不断被提出。 Nerf 为输入为稀疏的、多角度、带有姿态信息的图像的神经网络模型可以用于渲染出任意视角下的清晰照片。Nerf是使用MLP神经网络来隐式表达的一个三维场景如下图所示 背景知识 Nerf本质是图形学的3D渲染Render功能使用隐式表达来表示3D信息。 3D渲染将场景定义包括摄像机、灯光、表面几何与材料转换为模拟摄像机图像的过程称为渲染渲染的结果为该视角下的一张照片。相机拍摄过程为一个光学物理成像过程是光线经过镜头到达传感器中被记录的过程如下图所示 传统的3D渲染方法包括 光栅化rasterization光栅化是是空间中的物体 使用透视投影来投射 到2d图像上然后通过采样技术填充二维三角形所覆盖的图像的所有像素。 光线追踪ray tracing通过图像中的每个像素追踪一条射线找出相机与该射线相交的任何物体之间的距离。通过该像素可见的物体就是相交距离最小的物体。通过在图像中的所有像素上循环为每个像素追踪一条光线然后找出这些光线是否与场景中的任何物体相交来创建图像。该算法需要两个主要循环。外循环遍历图像中的像素内循环遍历场景中的物体。 隐式表达使用隐函数f(x,y,z)0f(x, y, z)0f(x,y,z)0来表示空间中3d点的位置关系所有满足约束的3d点都为待表达的目标点。该方法难以描述复杂物体且非直观但是该方式有以下优点1表达方式简单。2便于查询直接通过坐标点代入隐函数中可以查询该点与平面的关系。3能以较高的精度表达简单物体。4易于处理拓补结构如流体。 显示表达直接给出或通过参数映射的方式来表达空间中点的信息如电云与深度图。 3D空间中物体的表达方式 显示表达 隐式表达
Nerf的应用
1 新视点生成View Synthesishttps://www.matthewtancik.com/nerf 2 360°重建https://jonbarron.info/mipnerf360/ 3 大型场景重建http://waymo.com/research/block-nerf 4 人体重建https://zhaofuq.github.io/humannerf/ 5 3D风格迁移https://www.youtube.com/watch?v0Z8FYd8MV1klistPL6liSIqFR4BW3FTN5lpruLIVGqv3wMpMGindex13
