PoRF: Pose Residual Field for Accurate Neural Surface Reconstruction

要約

ニューラル サーフェスの再構築は、COLMAP や ARKit などの最先端の姿勢推定器が使用されている場合でも、カメラの姿勢ノイズの影響を受けやすくなります。
さらに重要なことは、既存の Pose-NeRF 共同最適化手法では、困難な現実世界のシナリオにおいてポーズの精度を向上させるのに苦労していることです。
この課題を克服するために、ポーズ更新を回帰するために MLP を使用する新しい暗黙的表現であるポーズ残差フィールド (\textbf{PoRF}) を導入します。
これは、シーケンス全体にわたるグローバル情報を活用するパラメータ共有により、従来の姿勢パラメータ最適化よりも堅牢です。
さらに、余分な計算オーバーヘッドなしで COLMAP 結果からエクスポートされた対応関係を活用する監視を強化するために、エピポーラ幾何損失を提案します。
私たちの方法は有望な結果をもたらします。
DTU データセットでは、COLMAP ポーズの回転誤差を 78\% 削減し、再構築の面取り距離が 3.48 mm から 0.85 mm に減少しました。
何気なくキャプチャされた境界のない 360 度ビデオを含む MobileBrick データセット上で、私たちの方法は ARKit ポーズを改良し、再構成 F1 スコアを 69.18 から 75.67 に改善し、データセットが提供するグラウンドトゥルース ポーズ (75.14) のスコアを上回りました。
これらの成果は、現実世界のシナリオにおけるカメラポーズの改良と神経表面再構成の精度の向上における私たちのアプローチの有効性を実証しています。

要約(オリジナル)

Neural surface reconstruction is sensitive to the camera pose noise, even if state-of-the-art pose estimators like COLMAP or ARKit are used. More importantly, existing Pose-NeRF joint optimisation methods have struggled to improve pose accuracy in challenging real-world scenarios. To overcome the challenges, we introduce the pose residual field (\textbf{PoRF}), a novel implicit representation that uses an MLP for regressing pose updates. This is more robust than the conventional pose parameter optimisation due to parameter sharing that leverages global information over the entire sequence. Furthermore, we propose an epipolar geometry loss to enhance the supervision that leverages the correspondences exported from COLMAP results without the extra computational overhead. Our method yields promising results. On the DTU dataset, we reduce the rotation error by 78\% for COLMAP poses, leading to the decreased reconstruction Chamfer distance from 3.48mm to 0.85mm. On the MobileBrick dataset that contains casually captured unbounded 360-degree videos, our method refines ARKit poses and improves the reconstruction F1 score from 69.18 to 75.67, outperforming that with the dataset provided ground-truth pose (75.14). These achievements demonstrate the efficacy of our approach in refining camera poses and improving the accuracy of neural surface reconstruction in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google