A Wavelet-based Stereo Matching Framework for Solving Frequency Convergence Inconsistency

要約

Raft-stereoのEPE評価メトリックは、低周波数領域と高周波領域で一貫して収束し、反復プロセス中に高周波分解（エッジや薄いオブジェクトなど）が結果として収束することがわかります。
現在の反復方法の性能が限られている根本的な理由は、高周波数と低周波数を区別することなく、すべての周波数成分を一緒に最適化することです。
周波数収束の不一致を解くために、ウェーブレットベースのステレオマッチングフレームワーク（Wavelet-Stereo）を提案します。
具体的には、最初に、離散ウェーブレット変換を使用して、画像を高周波数コンポーネントと低周波数成分に明示的に分解します。
次に、高周波および低周波コンポーネントが2つの異なるマルチスケール周波数特徴抽出器に供給されます。
最後に、初期の高周波機能を微調整することにより、異なる反復ステップで適応洗練された高周波機能を提供するために、反復周波数アダプターを含む新しいLSTMベースの高周波保存アップデートオペレーターを提案します。
高周波数コンポーネントを個別に処理することにより、当社のフレームワークは、エッジの高周波情報と滑らかな領域の低周波情報を同時に改良することができます。
広範な実験は、私たちのウェーブレット・ステレオが最先端の方法よりも優れており、ほぼすべてのメトリックのキッティ2015とキッティ2012リーダーボードの両方で1位にランクされることを示しています。
革新的なフレームワーク（https://github.com/sia-ide/wavelet-stereo）のさらなる調査、アプリケーション、および開発を促進するために、コードと事前に訓練されたモデルを提供します。

要約(オリジナル)

We find that the EPE evaluation metrics of RAFT-stereo converge inconsistently in the low and high frequency regions, resulting high frequency degradation (e.g., edges and thin objects) during the iterative process. The underlying reason for the limited performance of current iterative methods is that it optimizes all frequency components together without distinguishing between high and low frequencies. We propose a wavelet-based stereo matching framework (Wavelet-Stereo) for solving frequency convergence inconsistency. Specifically, we first explicitly decompose an image into high and low frequency components using discrete wavelet transform. Then, the high-frequency and low-frequency components are fed into two different multi-scale frequency feature extractors. Finally, we propose a novel LSTM-based high-frequency preservation update operator containing an iterative frequency adapter to provide adaptive refined high-frequency features at different iteration steps by fine-tuning the initial high-frequency features. By processing high and low frequency components separately, our framework can simultaneously refine high-frequency information in edges and low-frequency information in smooth regions, which is especially suitable for challenging scenes with fine details and textures in the distance. Extensive experiments demonstrate that our Wavelet-Stereo outperforms the state-of-the-art methods and ranks 1st on both the KITTI 2015 and KITTI 2012 leaderboards for almost all metrics. We will provide code and pre-trained models to encourage further exploration, application, and development of our innovative framework (https://github.com/SIA-IDE/Wavelet-Stereo).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google