ICLR 2023 Spotlight｜2D圖像腦補3D人體，衣服隨便搭，還能改動作

機器之心專欄

機器之心編輯部

在 ICLR 2023 上，南洋理工大學 - 商湯科技聯合研究中心 S-Lab 團隊提出了首個從二維圖像集合中學習高分辨率三維人體生成的方法 EVA3D。得益于 NeRF 提供的可微渲染，近期的三維生成模型已經在靜止物體上達到了很驚艷的效果。但是在人體這種更加復雜且可形變的類別上，三維生成依舊有很大的挑戰。本文提出了一個高效的組合的人體 NeRF 表達，實現了高分辨率（512x256）的三維人體生成，并且沒有使用超分模型。EVA3D 在四個大型人體數據集上均大幅超越了已有方案，代碼已開源。

(資料圖片)

論文名稱：EVA3D: Compositional 3D Human Generation from 2D image Collections

論文地址：

https://arxiv.org/abs/2210.04888

項目主頁：

https://hongfz16.github.io/projects/EVA3D.html

代碼開源：

https://github.com/hongfz16/EVA3D

Colab Demo：https://colab.research.google.com/github/hongfz16/EVA3D/blob/main/notebook/EVA3D_Demo.ipynb

Hugging Face Demo：https://huggingface.co/spaces/hongfz16/EVA3D

背景

利用 NeRF 提供的可微渲染算法，三維生成算法，例如 EG3D、StyleSDF，在靜態物體類別的生成上已經有了非常好的效果。但是人體相較于人臉或者 CAD 模型等類別，在外觀和幾何上有更大的復雜度，并且人體是可形變的，因此從二維圖片中學習三維人體生成仍然是非常困難的任務。研究人員在這個任務上已經有了一些嘗試，例如 ENARF-GAN、GNARF，但是受限于低效的人體表達，他們無法實現高分辨率的生成，因此生成質量也非常低。

為了解決這個問題，本文提出了高效的組合的三維人體 NeRF 表示，用以實現高分辨率的（512x256）三維人體 GAN 訓練與生成。下面將介紹本文提出的人體 NeRF 表示，以及三維人體 GAN 訓練框架。

高效的人體 NeRF 表示

本文提出的人體 NeRF 基于參數化人體模型 SMPL，它提供了方便的人體姿勢以及形狀的控制。進行 NeRF 建模時，如下圖所示，本文將人體分為 16 個部分。每一個部分對應于一個小的 NeRF 網絡進行局部的建模。在渲染每一個局部的時候，本文只需要推理局部 NeRF。這種稀疏的渲染方式，在較低的計算資源下，也可以實現原生高分辨率的渲染。

例如，渲染體型動作參數分別為的人體時，首先根據相機參數采樣光線；光線上的采樣點根據與 SMPL 模型的相對關系進行反向蒙皮操作（inverse linear blend skinning），將 posed 空間中的采樣點轉化到 canonical 空間中。接著計算 Canonical 空間的采樣點屬于某個或者某幾個局部 NeRF 的 bounding box 中，再進行 NeRF 模型的推理，得到每個采樣點對應的顏色與密度；當某個采樣點落到多個局部 NeRF 的重疊區域，則會對每個 NeRF 模型進行推理，將多個結果用 window function 進行插值；最后這些信息被用于光線的積分，得到最終的渲染圖。

三維人體 GAN 框架

基于提出的高效的人體 NeRF 表達，本文實現了三維人體 GAN 訓練框架。在每一次訓練迭代中，本文首先從數據集中采樣一個 SMPL 的參數以及相機參數，并隨機生成一個高斯噪聲 z。利用本文提出的人體 NeRF，本文可以將采樣出的參數渲染成一張二維人體圖片，作為假樣本。再利用數據集中的真實樣本，本文進行 GAN 的對抗訓練。

極度不平衡的數據集

二維人體數據集，例如 DeepFashion，通常是為二維視覺任務準備的，因此人體的姿態多樣性非常受限。為了量化不平衡的程度，本文統計了 DeepFashion 中模特臉部朝向的頻率。如下圖所示，橙色的線代表了 DeepFashion 中人臉朝向的分布，可見是極度不平衡的，對于學習三維人體表征造成了困難。為了緩解這一問題，我們提出了由人體姿態指導的采樣方式，將分布曲線拉平，如下圖中其他顏色的線所示。這可以讓訓練過程中的模型見到更多樣以及更大角度的人體圖片，從而幫助三維人體幾何的學習。我們對采樣參數進行了實驗分析，從下面的表格中可見，加上人體姿態指導的采樣方式后，雖然圖像質量（FID）會有些微下降，但是學出的三維幾何（Depth）顯著變好。

高質量的生成結果

下圖展示了一些 EVA3D 的生成結果，EVA3D 可以隨機采樣人體樣貌，并可控制渲染相機參數，人體姿勢以及體型。

本文在四個大規模人體數據集上進行了實驗，分別是 DeepFashion，SHHQ，UBCFashion，AIST。該研究對比了最先進的靜態三維物體生成算法 EG3D 與 StyleSDF。同時研究者也比較了專門針對三維人生成的算法 ENARF-GAN。在指標的選擇上，本文兼顧渲染質量的評估（FID/KID）、人體控制的準確程度（PCK）以及幾何生成的質量（Depth）。如下圖所示，本文在所有數據集，所有指標上均大幅超越之前的方案。

應用潛力

最后，本文也展示了 EVA3D 的一些應用潛力。首先，該研究測試了在隱空間中進行差值。如下圖所示，本文能夠在兩個三維人之間進行平滑的變化，且中間結果均保持較高的質量。此外，本文也進行了 GAN inversion 的實驗，研究者使用二維 GAN inversion 中常用的算法 Pivotal Tuning Inversion。如下面右圖所示，該方法可以較好的還原重建目標的外觀，但是幾何部分丟失了很多細節。可見，三維 GAN 的 inversion 仍然是一個很有挑戰性的任務。

結語

本文提出了首個高清三維人體 NeRF 生成算法 EVA3D，并且僅需使用二維人體圖像數據即可訓練。EVA3D 在多個大規模人體數據集上性能達到最佳，并且展現出了在下游任務上進行應用的潛力。EVA3D 的訓練與測試代碼均已經開源，歡迎大家前去試用！

責任編輯：Rex_20