Benchmarking and Analyzing 3D-aware Image Synthesis with a Modularized Codebase

要約

3D を意識した画像合成は急速に進歩しているにもかかわらず、既存の研究では通常、さまざまなテクニックやトリックが採用されており、一般性の観点から各部分が最終的なパフォーマンスにどのように寄与するかは不明のままです。
敵対的生成ネットワーク (GAN) のジェネレーターにニューラル ラジアンス フィールド (NeRF) を組み込む、この分野で最も一般的で効果的なパラダイムに従い、生成プロセスをモジュール化することで、Carver と呼ばれる適切に構造化されたコードベースを構築します。
このような設計により、研究者は各モジュールを独立して開発および置き換えることができるため、さまざまなアプローチを公正に比較し、モジュールの観点からその貢献を認識する機会が提供されます。
さまざまな最先端のアルゴリズムの再現は、モジュール化されたコードベースの可用性を示しています。
また、さまざまな種類のポイント フィーチャ間の比較、ジェネレーターでのテーリング アップサンプラーの必要性、事前のカメラ ポーズへの依存など、さまざまな詳細な分析も実行し、既存の手法についての理解を深めます。
そして、研究活動のさらなる方向性をいくつか指摘します。
この分野の開発と評価を促進するために、コードとモデルを https://github.com/qiuyu96/Carver でリリースします。

要約(オリジナル)

Despite the rapid advance of 3D-aware image synthesis, existing studies usually adopt a mixture of techniques and tricks, leaving it unclear how each part contributes to the final performance in terms of generality. Following the most popular and effective paradigm in this field, which incorporates a neural radiance field (NeRF) into the generator of a generative adversarial network (GAN), we build a well-structured codebase, dubbed Carver, through modularizing the generation process. Such a design allows researchers to develop and replace each module independently, and hence offers an opportunity to fairly compare various approaches and recognize their contributions from the module perspective. The reproduction of a range of cutting-edge algorithms demonstrates the availability of our modularized codebase. We also perform a variety of in-depth analyses, such as the comparison across different types of point feature, the necessity of the tailing upsampler in the generator, the reliance on the camera pose prior, etc., which deepen our understanding of existing methods and point out some further directions of the research work. We release code and models at https://github.com/qiuyu96/Carver to facilitate the development and evaluation of this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google