AsyncNeRF: Learning Large-scale Radiance Fields from Asynchronous RGB-D Sequences with Time-Pose Function

要約

大規模な放射輝度フィールドは、自動運転やドローン配送などのスマート輸送アプリケーション向けの有望なマッピング ツールです。
しかし、大規模なシーンでは、コンパクトな同期 RGB-D カメラは検出範囲が限られているため適用できません。RGB センサーと深度センサーを別々に使用すると、必然的に非同期シーケンスが発生します。
既知の固有または外部パラメータを必要としない自己較正放射輝度フィールド トレーニング メソッドの最近の成功に触発されて、RGB と深度フレーム間の不一致を自己較正する最初のソリューションを提案します。
RGB と深度フレームが実際には同じ軌跡からサンプリングされるという重要なドメイン固有の事実を活用し、時間ポーズ関数と呼ばれる新しい暗黙的なネットワークを開発します。
それを大規模な放射輝度フィールドと組み合わせることで、2 つの暗黙的な表現ネットワークをカスケードするアーキテクチャにつながります。
その有効性を検証するために、さまざまな RGB-D ミスマッチ シナリオをカバーする多様で写真のようにリアルなデータセットを構築します。
このデータセットの包括的なベンチマークを通じて、さまざまなシナリオでの方法の柔軟性と、適用可能な以前の対応物よりも優れたパフォーマンスを示しています。
コード、データ、モデルは公開されます。

要約(オリジナル)

Large-scale radiance fields are promising mapping tools for smart transportation applications like autonomous driving or drone delivery. But for large-scale scenes, compact synchronized RGB-D cameras are not applicable due to limited sensing range, and using separate RGB and depth sensors inevitably leads to unsynchronized sequences. Inspired by the recent success of self-calibrating radiance field training methods that do not require known intrinsic or extrinsic parameters, we propose the first solution that self-calibrates the mismatch between RGB and depth frames. We leverage the important domain-specific fact that RGB and depth frames are actually sampled from the same trajectory and develop a novel implicit network called the time-pose function. Combining it with a large-scale radiance field leads to an architecture that cascades two implicit representation networks. To validate its effectiveness, we construct a diverse and photorealistic dataset that covers various RGB-D mismatch scenarios. Through a comprehensive benchmarking on this dataset, we demonstrate the flexibility of our method in different scenarios and superior performance over applicable prior counterparts. Codes, data, and models will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google