S3Net: Innovating Stereo Matching and Semantic Segmentation with a Single-Branch Semantic Stereo Network in Satellite Epipolar Imagery

要約

ステレオマッチングとセマンティックセグメンテーションは、両眼衛星3D再構成において重要なタスクである。しかし、これまでの研究では、これらは主に独立した並列タスクとして捉えられており、統合されたマルチタスク学習の枠組みが欠如していた。本研究では、Self-FuseモジュールとMutual-Fuseモジュールを用いて、セマンティックセグメンテーションとステレオマッチングを革新的に組み合わせたソリューション、Single-branch Semantic Stereo Network (S3Net)を紹介する。セマンティック情報や視差情報を独立に利用する先行手法とは異なり、本手法はこれら2つのタスク間の本質的なつながりを明確にし、活用することで、セマンティック情報と視差推定をより正確に理解することにつながる。US3Dデータセットでの比較テストにより、我々のS3Netの有効性が証明された。我々のモデルは、セマンティックセグメンテーションにおけるmIoUを61.38から67.39に改善し、視差推定におけるD1エラーと平均終点エラー（EPE）をそれぞれ10.051から9.579、1.439から1.403に減少させ、既存の競合手法を凌駕する。我々のコードはhttps://github.com/CVEO/S3Net。

要約(オリジナル)

Stereo matching and semantic segmentation are significant tasks in binocular satellite 3D reconstruction. However, previous studies primarily view these as independent parallel tasks, lacking an integrated multitask learning framework. This work introduces a solution, the Single-branch Semantic Stereo Network (S3Net), which innovatively combines semantic segmentation and stereo matching using Self-Fuse and Mutual-Fuse modules. Unlike preceding methods that utilize semantic or disparity information independently, our method dentifies and leverages the intrinsic link between these two tasks, leading to a more accurate understanding of semantic information and disparity estimation. Comparative testing on the US3D dataset proves the effectiveness of our S3Net. Our model improves the mIoU in semantic segmentation from 61.38 to 67.39, and reduces the D1-Error and average endpoint error (EPE) in disparity estimation from 10.051 to 9.579 and 1.439 to 1.403 respectively, surpassing existing competitive methods. Our codes are available at:https://github.com/CVEO/S3Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL