Lift3D: Synthesize 3D Training Data by Lifting 2D GAN to 3D Generative Radiance Field

要約

タイトル：Lift3D：2D GANを3D生成放射度場にリフトして、3D訓練データを合成する
要約：
– この研究では、3D生成モデルを使用して、3Dビジョンタスクのトレーニングデータを合成することを探求しています。
– 生成されたデータは、リアルな世界のシナリオに合わせてフォトリアリスティックである必要があり、対応する3D属性は与えられたサンプリングラベルと一致している必要があります。
– しかし、最近のNeRFベースの3D GANは、その設計された生成パイプラインと明示的な3D監督の欠如のために、上記の要件を満たすことがほとんどできないことがわかりました。
– この研究では、Lift3Dという、2Dから3Dに反転する生成フレームワークを提案し、データ生成目標を達成します。
– Lift3Dは、以前の方法と比較していくつかの利点があります。例えば、出力解像度がトレーニング後に固定される以前の3D GANとは異なり、Lift3Dは、より高い解像度とフォトリアリスティックな出力に対応できます。
– 同じく、2D GANを3D物体NeRFに昇華させることで、Lift3Dは生成されたオブジェクトの明示的な3D情報を提供し、ダウンストリームのタスクに正確な3D注釈を提供します。
– 自律走行のデータセットを拡張して、フレームワークの効果を評価しました。実験の結果、データ生成フレームワークが3Dオブジェクト検出器の性能を改善することが効果的であることが示されています。プロジェクトページ：https://len-li.github.io/lift3d-web。

要約(オリジナル)

This work explores the use of 3D generative models to synthesize training data for 3D vision tasks. The key requirements of the generative models are that the generated data should be photorealistic to match the real-world scenarios, and the corresponding 3D attributes should be aligned with given sampling labels. However, we find that the recent NeRF-based 3D GANs hardly meet the above requirements due to their designed generation pipeline and the lack of explicit 3D supervision. In this work, we propose Lift3D, an inverted 2D-to-3D generation framework to achieve the data generation objectives. Lift3D has several merits compared to prior methods: (1) Unlike previous 3D GANs that the output resolution is fixed after training, Lift3D can generalize to any camera intrinsic with higher resolution and photorealistic output. (2) By lifting well-disentangled 2D GAN to 3D object NeRF, Lift3D provides explicit 3D information of generated objects, thus offering accurate 3D annotations for downstream tasks. We evaluate the effectiveness of our framework by augmenting autonomous driving datasets. Experimental results demonstrate that our data generation framework can effectively improve the performance of 3D object detectors. Project page: https://len-li.github.io/lift3d-web.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI