Implicit Function 它是一种用来表达物体表面的函数，如：$f(X)=0$，其中，$X$表示空间中的任何一个点，比如空间中的球心在原点，半径是$r$隐函数为：$$f(X)=x^2{y}^2{z}^{}-r^2=0$$当$X=(x,y,z)$满足$f(X)=0$时，该点在球面上；
当$X=(x,y,z)$满足$f(X)<0$时，该点在球面内部；
当$X=(x,y,z)$满足$f(X)>0$时，该点在球面外部；

更加复杂的物体可以由更加复杂的Implicit Function表示。

等值面是空间中的一个曲面，我们规定空间中每一个点都有一个属性值，属性值相等的连续空间组成的曲面，我们称之为等值面。

Marching Cube算法是提取等值面的基础算法。直观地说，就是用许多小正方体去对空间进行切分，然后用小正方体内部的平面来近似表示当前的等值面。显然，小正方体的数量越多，逼近的效果越好，随之带来的是计算的代价。小正方体的顶点就是3D空间中的离散点。

简单理解，Marching cube是从implicit转成mesh的方法，而implicit和mesh都是三维数据的一种表示形式。

我们引入了像素对齐隐函数（PIFu，Pixel-aligned implicit function），这是一种隐式表示，将2D图像的像素与相应3D对象的上下文进行局部对齐。使用PIFu，我们提出了一种端到端的深度学习方法，用于高清重建有衣着的人物，该方法可以从单个图像以及可选的多个输入图像中推断3D表面和纹理。高度复杂的形状，如发型、服装，以及它们的褶皱可以用统一的方式数字化表示。与基于三维深度学习的现有方法相比，PIFu可以生成高分辨率曲面，甚至包括看不见的区域，例如人的背部。此外，PIFu可以自然扩展到任意数量的视图。我们展示了对来自DeepFashion数据集的真实世界图像的高分辨率重建，该数据集包含各种具有挑战性的服装类型。我们的方法在公共基准上实现了最先进的性能，优于之前从单个图像进行人体数字化的工作。

由于单视图本身的信息缺失，单视图数字化技术需要强大的先验知识。因此，人体的参数模型被广泛用于从输入图像中数字化人体。轮廓和其他类型的手动注释通常用于初始化人体模型与图像的拟合。最近的方法涉及深度神经网络，以提高高度挑战性图像的位姿和形状参数估计的鲁棒性。将部件分割开作为输入的方法可以生成更精确的拟合。尽管参数化模型能够重建人体，但它们只能生成无衣着的人体。衣服、头发和其他细节的3D表面会完全被忽略。

参数化人体形状重建方法依赖于基于统计得到的人体参数化模型，仅需一组低维向量（即人体参数）即可描述人体形状。

BodyNet等无模板方法学习使用深度神经网络直接生成人的体素表示。由于体素表示的高内存要求，输出中往往缺少细节。最近，有人引入了一种多视图推理方法，通过从单个图像合成新的轮廓视图。但这种方法很难推断一致生成的视图，无法可靠地生成细节。相比之下，PIFu内存效率高，能够捕捉图像中的细节，并预测每个点的颜色。

多视图采集方法旨在生成完整的人体模型并简化重建问题，但通常受限于工作室的设置。早期的尝试是基于视觉外壳，它使用来自多个视图的轮廓来雕刻捕获的可见区域。当使用大量摄像机时，可以获得合理的重建，但凹度本身就很难处理。使用多视图立体约束或使用受控照明，例如多视图光度立体技术，可以获得更精确的几何图形。有几种方法使用参数化模型来进一步指导数字化过程。虽然多视图捕获技术明显优于单视图捕获技术，但它们的灵活性和可部署性明显较差。

中间解决方案包括使用深度学习框架从非常稀疏的视图中生成合理的3D曲面。有人引入了一种基于体积占有率场的深度学习方法，该方法可以使用稀疏视点作为输入来捕捉人体。这些方法至少需要三个视图才能产生合理的输出。

当从单个图像重建三维模型时，可以很容易地从输入中采样纹理。然而，为了获得完整的纹理，需要推断遮挡区域中的外观。3D纹理推断的问题是从单个图像或多个图像预测新视图的视图合成方法。在衣着人体纹理网格推断的背景下，有人引入了一种视图合成技术，可以从正面预测后视图。然后使用前视图和后视图对最终3D网格进行纹理处理，但无法处理自遮挡区域和侧视图。我们提出的方法可以以端到端的方式预测每个点的颜色，并且可以处理具有任意拓扑的曲面。

纹理推断可以理解为预测每个点的颜色。

给定单视图或多视图图像，我们的目标是在保留图像中存在的细节的同时重建穿着衣服的人体的三维几何体和纹理。为此，我们引入了像素对齐隐函数（PIFu），它是一种高效的空间对齐的三维曲面表示。隐函数将曲面表示定义为函数$f$，比如$f(X)=0$。这让曲面可以获得内存高效表示，因为曲面信息不需要每个点都显式存储。提出的像素对齐隐函数由全卷积图像编码器$g$和由多层感知器（MLP）表示的连续隐函数$f$组成，其中曲面定义为：$$f(F(x),z(X))=s:s\in R$$其中，对于一个3D的点$X$，$x=\pi (X)$是该点在2D投影空间下的坐标，$z(X)$是相机坐标系下的深度值（3D空间下的点到相机的距离），$F(x)=g(I(x))$是在$x$处的图像特征向量（其中$I(\cdot )$代表图像中对象的mask）。注意，我们的像素对齐特征$F(x)$来自双线性插值采样，因为$X$的2D投影是在连续空间而不是离散空间（即像素）中定义的。

我们使用像素对齐的图像特征而不是全局特征学习三维空间上的隐函数，这允许学习的函数保留图像中存在的局部细节。PIFu的连续性允许我们以内存高效的方式生成具有任意拓扑的几何体。此外，PIFu可以作为一个通用框架，可以扩展到各种域，例如RGB颜色。

Digitization Pipeline

• 图2：衣着人物数字化的pipeline：给定一张图像，PIFu预测人物的连续内外概率场。类似的，纹理推断PIFu（Tex-PIFu）在具有任意拓扑的曲面几何体的给定位置推断RGB值。

图2展示了我们的框架。给定一张输入图像，用于表面重建（surface reconstruction）的PIFu预测穿着衣服的人的连续内外概率场。类似地，用于纹理推断的PIFu（Tex-PIFu）在surface几何体的3D位置输出RGB值，从而在自遮挡表面区域和任意拓扑形状中实现纹理推断。此外，我们还表明，该方法可以自然地处理单视图和多视图输入，这使得我们能够在更多视图可用时产生更高保真度的结果。

对于表面重建，我们将Ground truth surface表示为连续3D占用场（occupancy field）的0.5水平集：如果$X$在网格曲面（mesh surface）内部，$f_v^{\ast }(X)=1$，否则$f_v^{\ast }(X)=0$。我们训练PIFu $f_v$，通过最小化MSE：$$L_V=\frac{1}{n}\sum _{i=1}^n|f_v(F_V(x_i),z(X_i))-f_v^{\ast }(X_i){|}^2$$其中，$X_i\in R^3,F_V(x)=g(I(x))$是图像编码器$g$在$x=\pi (X)$处的图像特征，$n$是采样点的数量。给定一对输入图像和与输入图像空间对齐的相应3D mesh，通过最小化$L_V$更新$g$和PIFu的参数。正如Bansal等人在语义分割方面所证明的那样，与所有像素的训练相比，使用像素子集训练图像编码器不会影响收敛。在推理过程中，我们在3D空间上对概率场进行密集采样，并使用Marching Cube算法在阈值0.5处提取概率场的等值面（对3D空间的每个点预测点在网格内部的概率，令概率为0.5的点为曲面上的点）。这种隐式曲面表示适用于具有任意拓扑的详细对象。除了PIFu的表达能力和内存效率外，我们还开发了一种空间采样策略，这对于实现高保真推理至关重要。

Spatial Sampling
训练数据的分辨率在实现隐函数的表达性和准确性方面起着核心作用。与基于体素的方法不同，我们的方法不需要Ground truth 3D mesh的离散化。相反，我们可以使用有效的光线跟踪算法从原始分辨率的GT mesh中实时采样3D点。此外，我们观察到采样策略在很大程度上会影响最终的重建质量。如果对三维空间中的点进行均匀采样，大多数点都远离对象曲面，这将不必要地将网络强迫为外部空间预测。另一方面，仅在曲面周围采样可能会导致过拟合。因此，我们建议结合均匀采样和基于曲面几何的自适应采样。我们首先在曲面几何体上随机采样点，并为x、y和z轴添加正态分布$N(0,\sigma )$（在我们的实验中$\sigma =5.0$ cm）的偏移，以扰动其在曲面周围的采样位置。我们以16:1的比例将这些样本与边界框内的均匀采样点相结合。

对于每一对（2D图像，3D模型），2D图像先输入到一个由全卷积组成的图像编码器$g$，得到与2D图像高宽一样的深度特征，对于3D模型，可以采样得到$n$个3D点$(X_1,...,X_n)$，同时可以知道其对应的曲面点ground truth$(f_v^{\ast }(X_1),...,f_v^{\ast }(X_n))$（该3D点是否在对象内部）。

在PIFu中，使用MLP表达$f_v(\cdot )$，$g$是图像编码器，用于提取语义信息，$z$则包含了3D信息。

边界框是3D模型的固定边界，比如我们可以设置出$512\times 512\times 512$个点$X$，我们对所有点进行预测，然后用Marching Cube提取固定好阈值的等值面，该等值面作为立体对象的外表曲面。

PIFu使我们能够通过将式1中的$s$定义为RGB向量场而不是标量场来直接预测表面几何体上的RGB颜色。这支持具有任意拓扑和自遮挡的形状纹理。然而，将PIFu扩展到颜色预测是一项非常重要的任务，因为RGB颜色仅在表面上定义，而3D占用场（occupancy field）在整个3D空间上定义。在此，我们重点介绍了PIFu在训练过程和网络架构方面的改进。

给定曲面上采样的3D点$X\in \Omega$，纹理推断的目标如下所示：$$L_C=$$