M3Depth: Wavelet-Enhanced Depth Estimation on Mars via Mutual Boosting of Dual-Modal Data

要約

深さの推定は、さらに火星探査ミッションの障害回避とナビゲーションに大きな潜在的な役割を果たします。
従来のステレオマッチングと比較して、学習ベースのステレオ深度推定は、ステレオ画像ペアから密度と正確な深度マップを推測するためのデータ駆動型アプローチを提供します。
ただし、これらの方法は、火星の構造化されていない地形など、まばらなテクスチャや幾何学的制約がない環境で常にパフォーマンスの劣化を受けます。
これらの課題に対処するために、火星のローバーに合わせた深度推定モデルであるM3Depthを提案します。
主に低周波機能で構成される火星の地形のまばらで滑らかなテクスチャーを考慮すると、我々のモデルには、低頻度の応答を効果的にキャプチャし、受容フィールドを拡大するウェーブレット変換に基づく畳み込みカーネルが組み込まれています。
さらに、深度マップと表面法線マップの相補的な関係を明示的にモデル化する一貫性の損失を導入し、幾何学的制約として表面を使用して、深さ推定の精度を高めます。
また、相互ブーストメカニズムを備えたピクセルごとの改良モジュールは、深さと表面の両方の通常の予測を繰り返し改善するように設計されています。
深さ注釈を備えた合成火星データセットの実験結果は、M3Depthが他の最先端の深さ推定法と比較して、深さ推定精度が大幅に改善されることを示しています。
さらに、このモデルは、実際の火星のシナリオに強い適用可能性を示し、将来の火星探査ミッションに有望なソリューションを提供します。

要約(オリジナル)

Depth estimation plays a great potential role in obstacle avoidance and navigation for further Mars exploration missions. Compared to traditional stereo matching, learning-based stereo depth estimation provides a data-driven approach to infer dense and precise depth maps from stereo image pairs. However, these methods always suffer performance degradation in environments with sparse textures and lacking geometric constraints, such as the unstructured terrain of Mars. To address these challenges, we propose M3Depth, a depth estimation model tailored for Mars rovers. Considering the sparse and smooth texture of Martian terrain, which is primarily composed of low-frequency features, our model incorporates a convolutional kernel based on wavelet transform that effectively captures low-frequency response and expands the receptive field. Additionally, we introduce a consistency loss that explicitly models the complementary relationship between depth map and surface normal map, utilizing the surface normal as a geometric constraint to enhance the accuracy of depth estimation. Besides, a pixel-wise refinement module with mutual boosting mechanism is designed to iteratively refine both depth and surface normal predictions. Experimental results on synthetic Mars datasets with depth annotations show that M3Depth achieves a significant 16% improvement in depth estimation accuracy compared to other state-of-the-art methods in depth estimation. Furthermore, the model demonstrates strong applicability in real-world Martian scenarios, offering a promising solution for future Mars exploration missions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google