Progressive Learning of 3D Reconstruction Network from 2D GAN Data

要約

この論文では、単一の画像から高品質のテクスチャ付き 3D モデルを再構成する方法を紹介します。
現在の方法は、高価なアノテーションを含むデータセットに依存しています。
マルチビュー画像とそのカメラパラメータ。
私たちの方法は、アノテーションコストが無視できる GAN で生成された多視点画像データセットに依存しています。
ただし、厳密にはマルチビューの一貫性が保たれておらず、場合によっては GAN が歪んだ画像を出力することがあります。
これにより、再構築の品質が低下します。
この研究では、生成されたデータセットのこれらの制限を克服するために、困難なオブジェクトで最先端の結果を達成するために、次の 2 つの主な貢献を行っています。 1) 徐々にモデルへの依存度を高める堅牢な多段階学習スキーム
損失を計算する際の独自の予測、2) オンラインの擬似グラウンドトゥルース生成を備えた新しい敵対的学習パイプラインにより、詳細を実現します。
私たちの研究は、GAN モデルの 2D 監視から 3D 再構築モデルへの橋渡しを提供し、高価なアノテーション作業を排除します。
GAN で生成されたマルチビュー画像でトレーニングされた場合でも、高価なアノテーションが付けられた実際の画像でトレーニングされた場合でも、以前の方法に比べて大幅な改善が見られます。
3D ビジュアルについては、当社の Web ページをご覧ください: https://research.nvidia.com/labs/adlr/progressive-3d-learning

要約(オリジナル)

This paper presents a method to reconstruct high-quality textured 3D models from single images. Current methods rely on datasets with expensive annotations; multi-view images and their camera parameters. Our method relies on GAN generated multi-view image datasets which have a negligible annotation cost. However, they are not strictly multi-view consistent and sometimes GANs output distorted images. This results in degraded reconstruction qualities. In this work, to overcome these limitations of generated datasets, we have two main contributions which lead us to achieve state-of-the-art results on challenging objects: 1) A robust multi-stage learning scheme that gradually relies more on the models own predictions when calculating losses, 2) A novel adversarial learning pipeline with online pseudo-ground truth generations to achieve fine details. Our work provides a bridge from 2D supervisions of GAN models to 3D reconstruction models and removes the expensive annotation efforts. We show significant improvements over previous methods whether they were trained on GAN generated multi-view images or on real images with expensive annotations. Please visit our web-page for 3D visuals: https://research.nvidia.com/labs/adlr/progressive-3d-learning

arxiv情報

提供元, 利用サービス

arxiv.jp, Google