S3Net: Innovating Stereo Matching and Semantic Segmentation with a Single-Branch Semantic Stereo Network in Satellite Epipolar Imagery

要約

ステレオ マッチングとセマンティック セグメンテーションは、両眼衛星 3D 再構成における重要なタスクです。
しかし、これまでの研究では主にこれらを独立した並列タスクとして捉えており、統合されたマルチタスク学習フレームワークが欠けていました。
この研究では、セルフヒューズ モジュールと相互ヒューズ モジュールを使用してセマンティック セグメンテーションとステレオ マッチングを革新的に組み合わせた、シングルブランチ セマンティック ステレオ ネットワーク (S3Net) というソリューションを導入します。
意味情報または視差情報を個別に利用するこれまでの方法とは異なり、私たちの方法はこれら 2 つのタスク間の固有のリンクを特定して活用し、意味情報と視差推定をより正確に理解することにつながります。
US3D データセットでの比較テストにより、S3Net の有効性が証明されました。
私たちのモデルは、セマンティック セグメンテーションの mIoU を 61.38 から 67.39 に改善し、視差推定における D1 エラーと平均エンドポイント エラー (EPE) をそれぞれ 10.051 から 9.579 と 1.439 から 1.403 に削減し、既存の競合手法を上回りました。
私たちのコードはhttps://github.com/CVEO/S3Netで入手できます。

要約(オリジナル)

Stereo matching and semantic segmentation are significant tasks in binocular satellite 3D reconstruction. However, previous studies primarily view these as independent parallel tasks, lacking an integrated multitask learning framework. This work introduces a solution, the Single-branch Semantic Stereo Network (S3Net), which innovatively combines semantic segmentation and stereo matching using Self-Fuse and Mutual-Fuse modules. Unlike preceding methods that utilize semantic or disparity information independently, our method dentifies and leverages the intrinsic link between these two tasks, leading to a more accurate understanding of semantic information and disparity estimation. Comparative testing on the US3D dataset proves the effectiveness of our S3Net. Our model improves the mIoU in semantic segmentation from 61.38 to 67.39, and reduces the D1-Error and average endpoint error (EPE) in disparity estimation from 10.051 to 9.579 and 1.439 to 1.403 respectively, surpassing existing competitive methods. Our codes are available at:https://github.com/CVEO/S3Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google