Opening the Black Box of 3D Reconstruction Error Analysis with VECTOR

要約

2D 画像から 3D シーンを再構成することは、地球惑星科学や宇宙探査から拡張現実や仮想現実に至るまでの領域に影響を与える技術的な課題です。
通常、再構成アルゴリズムはまず画像全体で共通の特徴を特定し、次に地形の形状を推定した後に再構成誤差を最小限に抑えます。
このバンドル調整 (BA) ステップは、単一の単純化されたスカラー値を中心に最適化し、再構成エラーの考えられる多くの原因 (カメラの位置と方向の初期推定、照明条件、地形内の特徴検出の容易さなど) を難読化します。
再構築エラーは不正確な科学的推論につながったり、遠隔環境を探索する宇宙船を危険にさらしたりする可能性があります。
この課題に対処するために、ステレオ再構成 BA のエラー検査を改善する視覚分析ツール VECTOR を紹介します。
VECTOR は、アナリストがこれまで利用できなかった特徴の位置、カメラの姿勢、計算された 3D ポイントを可視化できるようにします。
VECTOR は、NASA ジェット推進研究所の Perseverance Mars Rover および Ingenuity Mars Helicopter の地形復元チームと提携して開発されました。
このツールが火星 2020 ミッションの地形再構築のデバッグと改善にどのように使用されたかについて報告します。

要約(オリジナル)

Reconstruction of 3D scenes from 2D images is a technical challenge that impacts domains from Earth and planetary sciences and space exploration to augmented and virtual reality. Typically, reconstruction algorithms first identify common features across images and then minimize reconstruction errors after estimating the shape of the terrain. This bundle adjustment (BA) step optimizes around a single, simplifying scalar value that obfuscates many possible causes of reconstruction errors (e.g., initial estimate of the position and orientation of the camera, lighting conditions, ease of feature detection in the terrain). Reconstruction errors can lead to inaccurate scientific inferences or endanger a spacecraft exploring a remote environment. To address this challenge, we present VECTOR, a visual analysis tool that improves error inspection for stereo reconstruction BA. VECTOR provides analysts with previously unavailable visibility into feature locations, camera pose, and computed 3D points. VECTOR was developed in partnership with the Perseverance Mars Rover and Ingenuity Mars Helicopter terrain reconstruction team at the NASA Jet Propulsion Laboratory. We report on how this tool was used to debug and improve terrain reconstruction for the Mars 2020 mission.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google