C-NERF: Representing Scene Changes as Directional Consistency Difference-based NeRF

要約

この研究では、神経放射フィールド (NeRF) によって表されるシーン内のオブジェクトの変化によって引き起こされる変化を検出することを目的としています。
任意のビューと、異なるタイムスタンプでキャプチャされた 2 セットのシーン画像が与えられると、そのビューでのシーンの変化を予測できます。これは、シーンの監視と測定において重要な潜在的な用途を持っています。
私たちは予備調査を行った結果、このようなエキサイティングなタスクは、誤検出や検出漏れが多い既存の NeRF や 2D 変化検出方法を利用するだけでは簡単に達成できないことがわかりました。
主な理由は、2D 変化検出が空間的に位置合わせされた画像ペア間のピクセルの外観の違いに基づいており、NeRF のステレオ情報が無視されていることです。
この制限に対処するために、シーンの変化を方向一貫性差分ベースの NeRF として表現する C-NERF を提案します。これには主に 3 つのモジュールが含まれます。
まず、変更の前後でキャプチャされた 2 つの NeRF の空間位置合わせを実行します。
次に、方向一貫性制約に基づいて変化点を特定します。
つまり、実際の変化点はビュー方向全体で同様の変化表現を持ちますが、偽の変化点はそうではありません。
最後に、構築された NeRF に基づいて変更マップ レンダリング プロセスを設計し、任意に指定されたビュー方向の変更マップを生成できます。
有効性を検証するために、さまざまなオブジェクトが変化する多様なシナリオをカバーする 10 個のシーンを含む新しいデータセットを構築します。
私たちのアプローチは、最先端の 2D 変化検出および NeRF ベースの方法を大幅に上回っています。

要約(オリジナル)

In this work, we aim to detect the changes caused by object variations in a scene represented by the neural radiance fields (NeRFs). Given an arbitrary view and two sets of scene images captured at different timestamps, we can predict the scene changes in that view, which has significant potential applications in scene monitoring and measuring. We conducted preliminary studies and found that such an exciting task cannot be easily achieved by utilizing existing NeRFs and 2D change detection methods with many false or missing detections. The main reason is that the 2D change detection is based on the pixel appearance difference between spatial-aligned image pairs and neglects the stereo information in the NeRF. To address the limitations, we propose the C-NERF to represent scene changes as directional consistency difference-based NeRF, which mainly contains three modules. We first perform the spatial alignment of two NeRFs captured before and after changes. Then, we identify the change points based on the direction-consistent constraint; that is, real change points have similar change representations across view directions, but fake change points do not. Finally, we design the change map rendering process based on the built NeRFs and can generate the change map of an arbitrarily specified view direction. To validate the effectiveness, we build a new dataset containing ten scenes covering diverse scenarios with different changing objects. Our approach surpasses state-of-the-art 2D change detection and NeRF-based methods by a significant margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google