Self-supervised novel 2D view synthesis of large-scale scenes with efficient multi-scale voxel carving

要約

AI モデルが現実的な新しい世界を作成できるようになった今日、実際のシーンの新しいビューを生成するタスクはますます重要になっています。
多くの実際のアプリケーションでは、新しいビュー合成手法ができる限り物理世界に根ざしていると同時に、これまで見たことのないビューから想像できることが重要です。
現在の手法のほとんどは、小規模なシーンを使用し、ポーズや深度情報にエラーがない仮想環境で開発およびテストされていますが、私たちは、UAV という新しいコンテキストにおいて、大規模な現実世界の領域への境界を押し広げます。
私たちのアルゴリズムへの貢献は 2 つあります。
まず、効率的なマルチスケール ボクセル カービング手法を導入することで、実際の 3D 世界にしっかりと留まることができます。この手法は、世界観を再構築しながら、ポーズ、深さ、照明の変化における重大なノイズに対応できます。
テスト時に大幅に異なるポーズから。
第 2 に、最終的な高解像度出力は、ボクセル カービング モジュールによって自動的に生成されたデータに基づいて効率的に自己トレーニングされ、あらゆるシーンに効率的に適応できる柔軟性が得られます。
私たちは、実際の環境における非常に複雑で大規模なシーンでのこの手法の有効性を実証し、現在の最先端技術を上回りました。
私たちのコードは https://github.com/onorabil/MSVC から公開されています。

要約(オリジナル)

The task of generating novel views of real scenes is increasingly important nowadays when AI models become able to create realistic new worlds. In many practical applications, it is important for novel view synthesis methods to stay grounded in the physical world as much as possible, while also being able to imagine it from previously unseen views. While most current methods are developed and tested in virtual environments with small scenes and no errors in pose and depth information, we push the boundaries to the real-world domain of large scales in the new context of UAVs. Our algorithmic contributions are two folds. First, we manage to stay anchored in the real 3D world, by introducing an efficient multi-scale voxel carving method, which is able to accommodate significant noises in pose, depth, and illumination variations, while being able to reconstruct the view of the world from drastically different poses at test time. Second, our final high-resolution output is efficiently self-trained on data automatically generated by the voxel carving module, which gives it the flexibility to adapt efficiently to any scene. We demonstrated the effectiveness of our method on highly complex and large-scale scenes in real environments while outperforming the current state-of-the-art. Our code is publicly available: https://github.com/onorabil/MSVC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google