VERF: Runtime Monitoring of Pose Estimation with Neural Radiance Fields

要約

直接的な深度測定に依存せずに、単眼カメラのカメラ姿勢推定の正確性をランタイム保証するための 2 つの方法 (VERF-PnP および VERF-Light) を集めた VERF を紹介します。
NeRF (Neural Radiance Fields) の機能を利用して、シーンの斬新な RGB パースペクティブをレンダリングします。
入力として必要なのは、姿勢が推定されているカメラ画像、監視したいカメラ姿勢の推定値、およびカメラによって撮影されたシーンを含む NeRF モデルだけです。
その後、姿勢推定値がグラウンド トゥルースから望ましい距離内にあるかどうかを予測し、ある程度の信頼度を持って予測を正当化できます。
VERF-Light は、推定された姿勢で NeRF を使用して視点をレンダリングし、センサー画像に対する相対的なオフセットをスケールまで推定することでこれを行います。
シーンのスケールが不明であるため、このアプローチでは別の補助画像をレンダリングし、3 つの画像にわたるオプティカル フローの一貫性を検討します。
VERF-PnP は、NeRF で画像のステレオ ペアをレンダリングし、Perspective-n-Point (PnP) アルゴリズムを利用するという、異なるアプローチを採用しています。
LLFF データセット、Unitree A1 四足歩行ロボットからのデータ、および Blue Origin の準軌道ニュー シェパード ロケットから収集されたデータで両方の方法を評価し、さまざまなシーン スケールにわたって提案された姿勢モニタリング方法の有効性を実証します。
また、3090 GPU ではモニタリングが 0.5 秒未満で完了できることも示しています。

要約(オリジナル)

We present VERF, a collection of two methods (VERF-PnP and VERF-Light) for providing runtime assurance on the correctness of a camera pose estimate of a monocular camera without relying on direct depth measurements. We leverage the ability of NeRF (Neural Radiance Fields) to render novel RGB perspectives of a scene. We only require as input the camera image whose pose is being estimated, an estimate of the camera pose we want to monitor, and a NeRF model containing the scene pictured by the camera. We can then predict if the pose estimate is within a desired distance from the ground truth and justify our prediction with a level of confidence. VERF-Light does this by rendering a viewpoint with NeRF at the estimated pose and estimating its relative offset to the sensor image up to scale. Since scene scale is unknown, the approach renders another auxiliary image and reasons over the consistency of the optical flows across the three images. VERF-PnP takes a different approach by rendering a stereo pair of images with NeRF and utilizing the Perspective-n-Point (PnP) algorithm. We evaluate both methods on the LLFF dataset, on data from a Unitree A1 quadruped robot, and on data collected from Blue Origin’s sub-orbital New Shepard rocket to demonstrate the effectiveness of the proposed pose monitoring method across a range of scene scales. We also show monitoring can be completed in under half a second on a 3090 GPU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google