TriPlaneNet: An Encoder for EG3D Inversion

要約

NeRF ベースの GAN の最近の進歩により、新しいビュー レンダリングの可能性を備えた人間の頭の高解像度で高忠実度の生成モデリングのための多くのアプローチが導入されました。
同時に、既存の画像やビデオを再レンダリングまたは変更できるようにするには、逆問題を解決する必要があります。
2D GAN 反転のための普遍的な最適化ベースの方法の成功にもかかわらず、3D GAN に適用された方法は、3D 一貫性のあるレンダリングを生成できない可能性があります。
StyleGAN用に開発されたものなどの高速エンコーダーベースの手法も、ID保存が不足しているため、あまり魅力的ではない可能性があります.
私たちの仕事では、EG3D 生成モデルに導入されたトライプレーン表現を直接利用することで、2 つのアプローチの間のギャップを埋めるリアルタイムの方法を紹介します。
特に、潜在コードのフィードフォワード畳み込みエンコーダーを構築し、それをトライプレーン数値オフセットの完全な畳み込み予測子で拡張します。
私たちの作業で示されているように、レンダリングは最適化ベースの手法と同様の品質であり、新しいビューのベースラインを大幅に上回っています.
経験的に証明されているように、これは、エンコーダーベースのトレーニング可能なアプローチを利用しながら、GAN パラメーター空間ではなく、トライプレーン空間で直接操作した結果です。

要約(オリジナル)

Recent progress in NeRF-based GANs has introduced a number of approaches for high-resolution and high-fidelity generative modeling of human heads with a possibility for novel view rendering. At the same time, one must solve an inverse problem to be able to re-render or modify an existing image or video. Despite the success of universal optimization-based methods for 2D GAN inversion, those, applied to 3D GANs, may fail to produce 3D-consistent renderings. Fast encoder-based techniques, such as those developed for StyleGAN, may also be less appealing due to the lack of identity preservation. In our work, we introduce a real-time method that bridges the gap between the two approaches by directly utilizing the tri-plane representation introduced for EG3D generative model. In particular, we build upon a feed-forward convolutional encoder for the latent code and extend it with a fully-convolutional predictor of tri-plane numerical offsets. As shown in our work, the renderings are similar in quality to optimization-based techniques and significantly outperform the baselines for novel view. As we empirically prove, this is a consequence of directly operating in the tri-plane space, not in the GAN parameter space, while making use of an encoder-based trainable approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google