MoCha-Stereo: Motif Channel Attention Network for Stereo Matching

要約

学習ベースのステレオ マッチング技術は大幅に進歩しました。
ただし、既存の方法では、フィーチャ チャネルの生成プロセス中に幾何学的構造情報が必然的に失われるため、エッジの詳細が不一致になります。
この論文では、Motif Channel Attendant Stereo Matching Network (MoCha-Stereo) がこの問題に対処するように設計されています。
より正確なエッジ マッチング コストを決定するために、Motif Channel Correlation Volume (MCCV) が提供されます。
MCCV は、特徴チャネル内の共通の幾何学的構造を捕捉するモチーフ チャネルを特徴マップとコスト ボリュームに投影することによって実現されます。
さらに、再構成誤差マップの%ポテンシャル特徴チャネルのエッジ変動も詳細マッチングに影響を与えるため、フル解像度視差推定をさらに改良するための再構成誤差モチーフ ペナルティ (REMP) モジュールを提案します。
REMP は、再構成エラーからの典型的なチャネル特徴の周波数情報を統合します。
MoCha-Stereo は、KITTI-2015 および KITTI-2012 Reflective リーダーボードで 1 位にランクされています。
私たちの構造は、マルチビューステレオでも優れたパフォーマンスを発揮します。
コードは https://github.com/ZYangChen/MoCha-Stereo で入手できます。

要約(オリジナル)

Learning-based stereo matching techniques have made significant progress. However, existing methods inevitably lose geometrical structure information during the feature channel generation process, resulting in edge detail mismatches. In this paper, the Motif Cha}nnel Attention Stereo Matching Network (MoCha-Stereo) is designed to address this problem. We provide the Motif Channel Correlation Volume (MCCV) to determine more accurate edge matching costs. MCCV is achieved by projecting motif channels, which capture common geometric structures in feature channels, onto feature maps and cost volumes. In addition, edge variations in %potential feature channels of the reconstruction error map also affect details matching, we propose the Reconstruction Error Motif Penalty (REMP) module to further refine the full-resolution disparity estimation. REMP integrates the frequency information of typical channel features from the reconstruction error. MoCha-Stereo ranks 1st on the KITTI-2015 and KITTI-2012 Reflective leaderboards. Our structure also shows excellent performance in Multi-View Stereo. Code is avaliable at https://github.com/ZYangChen/MoCha-Stereo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google