Multiplane NeRF-Supervised Disentanglement of Depth and Camera Pose from Videos

要約

大規模なビデオから深度とカメラポーズの自己管理されたもつれを解くことを提案します。
深度とカメラのグラウンド トゥルース アノテーションを使用せずに、トレーニング用の入力ビデオ フレームを再構築するオートエンコーダー ベースの方法を導入します。
モデル エンコーダーは、単眼深度とカメラの姿勢を推定します。
次に、デコーダは深度エンコーダ機能に基づいてマルチプレーン NeRF 表現を構築し、推定されたカメラで入力フレームをレンダリングします。
学習は、シーン構造がビデオの短時間で変化しないという仮定に基づいて、再構成エラーによって監視されます。
モデルが学習されると、深度推定、カメラ姿勢推定、単一画像の新規ビュー合成など、複数のアプリケーションに適用できます。
すべてのタスクで以前の自己監視型アプローチよりも大幅な改善が見られ、一部のアプリケーションでは、カメラのグラウンド トゥルースでトレーニングされたカウンターパートよりもさらに優れた結果が得られました。
私たちのコードは公開されます。
私たちのプロジェクト ページは https://oasisyang.github.io/self-mpinerf です。

要約(オリジナル)

We propose to perform self-supervised disentanglement of depth and camera pose from large-scale videos. We introduce an Autoencoder-based method to reconstruct the input video frames for training, without using any ground-truth annotations of depth and camera. The model encoders estimate the monocular depth and the camera pose. The decoder then constructs a Multiplane NeRF representation based on the depth encoder feature, and renders the input frames with the estimated camera. The learning is supervised by the reconstruction error, based on the assumption that the scene structure does not change in short periods of time in videos. Once the model is learned, it can be applied to multiple applications including depth estimation, camera pose estimation, and single image novel view synthesis. We show substantial improvements over previous self-supervised approaches on all tasks and even better results than counterparts trained with camera ground-truths in some applications. Our code will be made publicly available. Our project page is: https://oasisyang.github.io/self-mpinerf .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google