Camera Relocalization in Shadow-free Neural Radiance Fields

要約

カメラの再位置調整は、コンピューター ビジョンとロボット工学における重要な問題です。
神経放射フィールド (NeRF) の最近の進歩により、フォトリアリスティックな画像の合成が期待できることが示されています。
いくつかの作品では、カメラのポーズを調整するために NeRF を利用していますが、シーンの外観や影の領域に影響を与える可能性がある照明の変更が考慮されておらず、ポーズの最適化プロセスの低下を引き起こします。
この論文では、さまざまな照明と影の状態で画像を正規化し、カメラの再位置決めを改善する 2 段階のパイプラインを提案します。
ハッシュ エンコードされた NeRF 上にシーン表現を実装し、ポーズ最適化プロセスを大幅に強化します。
グリッドベースの NeRF におけるノイズの多い画像勾配コンピューティングの問題を解決するために、プロセスを平滑化するための再考案されたトランケート動的ローパス フィルター (TDLF) と数値勾配平均化手法をさらに提案します。
さまざまな照明条件でのいくつかのデータセットでの実験結果は、私たちの方法がさまざまな照明条件下でのカメラの再位置決めにおいて最先端の結果を達成することを示しています。
コードとデータは一般に公開されます。

要約(オリジナル)

Camera relocalization is a crucial problem in computer vision and robotics. Recent advancements in neural radiance fields (NeRFs) have shown promise in synthesizing photo-realistic images. Several works have utilized NeRFs for refining camera poses, but they do not account for lighting changes that can affect scene appearance and shadow regions, causing a degraded pose optimization process. In this paper, we propose a two-staged pipeline that normalizes images with varying lighting and shadow conditions to improve camera relocalization. We implement our scene representation upon a hash-encoded NeRF which significantly boosts up the pose optimization process. To account for the noisy image gradient computing problem in grid-based NeRFs, we further propose a re-devised truncated dynamic low-pass filter (TDLF) and a numerical gradient averaging technique to smoothen the process. Experimental results on several datasets with varying lighting conditions demonstrate that our method achieves state-of-the-art results in camera relocalization under varying lighting conditions. Code and data will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google