EpiGRAF: Rethinking training of 3D GANs

要約

生成モデリングのごく最近の傾向は、2D画像コレクションから3D対応のジェネレーターを構築することです。
3Dバイアスを誘発するために、このようなモデルは通常、高解像度で使用するにはコストがかかるボリュームレンダリングに依存しています。
過去数か月の間に、純粋な3Dジェネレーターから生成された低解像度画像（または特徴テンソル）をアップサンプリングするために別の2Dデコーダーをトレーニングすることにより、このスケーリングの問題に対処する10以上の作品が登場しました。
ただし、このソリューションにはコストがかかります。マルチビューの一貫性を損なうだけでなく（つまり、カメラが移動すると形状とテクスチャが変化する）、忠実度の低いジオメトリも学習します。
この作業では、モデルをパッチごとにトレーニングするというまったく異なるルートに従うことで、SotA画質の高解像度3Dジェネレーターを取得できることを示します。
この最適化スキームを2つの方法で再検討し、改善します。
まず、さまざまな比率と空間位置のパッチで機能するように、位置とスケールを意識した弁別器を設計します。
次に、アニーリングされたベータ分布に基づいてパッチサンプリング戦略を変更し、トレーニングを安定させ、収束を加速します。
結果として得られたEpiGRAFという名前のモデルは、効率的で高解像度の純粋な3Dジェネレーターであり、$ 256 ^2$と$512^ 2 $の解像度で4つのデータセット（この作業で紹介した2つ）でテストします。
最先端の画質、忠実度の高いジオメトリを取得し、アップサンプラーベースの対応物よりも2.5 \times$速くトレーニングします。
プロジェクトのウェブサイト：https：//universome.github.io/epigraf。

要約(オリジナル)

A very recent trend in generative modeling is building 3D-aware generators from 2D image collections. To induce the 3D bias, such models typically rely on volumetric rendering, which is expensive to employ at high resolutions. During the past months, there appeared more than 10 works that address this scaling issue by training a separate 2D decoder to upsample a low-resolution image (or a feature tensor) produced from a pure 3D generator. But this solution comes at a cost: not only does it break multi-view consistency (i.e. shape and texture change when the camera moves), but it also learns the geometry in a low fidelity. In this work, we show that it is possible to obtain a high-resolution 3D generator with SotA image quality by following a completely different route of simply training the model patch-wise. We revisit and improve this optimization scheme in two ways. First, we design a location- and scale-aware discriminator to work on patches of different proportions and spatial positions. Second, we modify the patch sampling strategy based on an annealed beta distribution to stabilize training and accelerate the convergence. The resulted model, named EpiGRAF, is an efficient, high-resolution, pure 3D generator, and we test it on four datasets (two introduced in this work) at $256^2$ and $512^2$ resolutions. It obtains state-of-the-art image quality, high-fidelity geometry and trains ${\approx} 2.5 \times$ faster than the upsampler-based counterparts. Project website: https://universome.github.io/epigraf.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google