A self-supervised cyclic neural-analytic approach for novel view synthesis and 3D reconstruction

要約

録画されたビデオから新しいビューを生成することは、自律的なUAVナビゲーションを有効にするために重要です。
ニューラルレンダリングの最近の進歩により、新しい軌跡をレンダリングできる方法の急速な発展が促進されました。
ただし、これらの方法は、最適化された飛行経路なしでトレーニングデータから遠く離れた地域によく一般化できず、最適ではない再構成につながることがよくあります。
高品質の神経レンダリング出力と分析方法からの正確な幾何学的洞察を組み合わせた自己監視環状神経分析パイプラインを提案します。
私たちのソリューションは、特にトレーニングデータセットとはまったく異なるアンダーサンプリングされた領域と地域で、新しいビュー合成のためのRGBとメッシュの再構成を改善します。
画像再構築に効果的な変圧器ベースのアーキテクチャを使用して、合成プロセスを改良および適応させ、広範なラベル付きデータセットに依存せずに斬新で目に見えないポーズの効果的な取り扱いを可能にします。
私たちの調査結果は、斬新なものと3D再構成のレンダリングビューの大幅な改善を示しています。これは、私たちの知る限り、複雑な屋外環境での自律的なナビゲーションの新しい基準を設定します。

要約(オリジナル)

Generating novel views from recorded videos is crucial for enabling autonomous UAV navigation. Recent advancements in neural rendering have facilitated the rapid development of methods capable of rendering new trajectories. However, these methods often fail to generalize well to regions far from the training data without an optimized flight path, leading to suboptimal reconstructions. We propose a self-supervised cyclic neural-analytic pipeline that combines high-quality neural rendering outputs with precise geometric insights from analytical methods. Our solution improves RGB and mesh reconstructions for novel view synthesis, especially in undersampled areas and regions that are completely different from the training dataset. We use an effective transformer-based architecture for image reconstruction to refine and adapt the synthesis process, enabling effective handling of novel, unseen poses without relying on extensive labeled datasets. Our findings demonstrate substantial improvements in rendering views of novel and also 3D reconstruction, which to the best of our knowledge is a first, setting a new standard for autonomous navigation in complex outdoor environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google