Scalable Benchmarking and Robust Learning for Noise-Free Ego-Motion and 3D Reconstruction from Noisy Video

要約

私たちは、既存モデルのノイズのないデータへの依存という重大な制限に対処することで、ロバストなエゴモーション推定とフォトリアリスティックな 3D 再構成を再定義することを目指しています。
このようなサニタイズされた状態は評価を簡素化しますが、現実世界の環境の予測不可能でノイズの多い複雑さを捉えることはできません。
これらのモデルを実際に展開すると、動的モーション、センサーの不完全性、同期の乱れによりパフォーマンスが急激に低下するため、現実世界のノイズを受け入れて優れたフレームワークが緊急に必要であることが明らかになりました。
このギャップを埋めるために、私たちはスケーラブルなデータ生成、包括的なベンチマーク、モデルの堅牢性の強化という 3 つの主要な課題に取り組みます。
まず、複雑な動き、センサーの不完全性、同期エラーをシミュレートするさまざまなデータセットを生成する、スケーラブルなノイズの多いデータ合成パイプラインを導入します。
次に、このパイプラインを活用して、ノイズによるパフォーマンス低下を明らかにするために厳密に設計されたベンチマークである Robust-Ego3D を作成し、エゴモーションの精度と 3D 再構成の品質における現在の学習ベースの手法の限界を浮き彫りにします。
第三に、我々は、ノイズの多い観測値をクリーンな 3D マップからレンダリングされた RGB-D フレームと位置合わせすることで、内部のクリーンな 3D 表現を段階的に改良する新しいテスト時適応方法である Correspondence-guided Gaussian Splatting (CorrGS) を提案します。
視覚的な対応。
合成データと現実世界のデータに関する広範な実験により、CorrGS が、特に急速な動きや動的照明を伴うシナリオにおいて、従来の最先端の方法よりも一貫して優れたパフォーマンスを発揮することが実証されています。

要約(オリジナル)

We aim to redefine robust ego-motion estimation and photorealistic 3D reconstruction by addressing a critical limitation: the reliance on noise-free data in existing models. While such sanitized conditions simplify evaluation, they fail to capture the unpredictable, noisy complexities of real-world environments. Dynamic motion, sensor imperfections, and synchronization perturbations lead to sharp performance declines when these models are deployed in practice, revealing an urgent need for frameworks that embrace and excel under real-world noise. To bridge this gap, we tackle three core challenges: scalable data generation, comprehensive benchmarking, and model robustness enhancement. First, we introduce a scalable noisy data synthesis pipeline that generates diverse datasets simulating complex motion, sensor imperfections, and synchronization errors. Second, we leverage this pipeline to create Robust-Ego3D, a benchmark rigorously designed to expose noise-induced performance degradation, highlighting the limitations of current learning-based methods in ego-motion accuracy and 3D reconstruction quality. Third, we propose Correspondence-guided Gaussian Splatting (CorrGS), a novel test-time adaptation method that progressively refines an internal clean 3D representation by aligning noisy observations with rendered RGB-D frames from clean 3D map, enhancing geometric alignment and appearance restoration through visual correspondence. Extensive experiments on synthetic and real-world data demonstrate that CorrGS consistently outperforms prior state-of-the-art methods, particularly in scenarios involving rapid motion and dynamic illumination.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google