SemSegDepth: A Combined Model for Semantic Segmentation and Depth Completion

要約

全体的なシーンの理解は、自律型マシンのパフォーマンスにとって極めて重要です。
この論文では、セマンティックセグメンテーションと深度補完を一緒に実行するための新しいエンドツーエンドモデルを提案します。
最近のアプローチの大部分は、セマンティック セグメンテーションと深度補完を独立したタスクとして開発しています。
私たちのアプローチは、モデルへの入力として RGB とスパース深度に依存し、密な深度マップと対応するセマンティック セグメンテーション イメージを生成します。
これは、特徴抽出器、深度完了ブランチ、セマンティック セグメンテーション ブランチ、およびセマンティック情報と深度情報をまとめてさらに処理するジョイント ブランチで構成されます。
仮想 KITTI 2 データセットで行われた実験は、マルチタスク ネットワークで両方のタスク、セマンティック セグメンテーションと深度補完を組み合わせることで、各タスクのパフォーマンスを効果的に向上できることを実証し、さらなる証拠を提供します。
コードは https://github.com/juanb09111/semantic depth で入手できます。

要約(オリジナル)

Holistic scene understanding is pivotal for the performance of autonomous machines. In this paper we propose a new end-to-end model for performing semantic segmentation and depth completion jointly. The vast majority of recent approaches have developed semantic segmentation and depth completion as independent tasks. Our approach relies on RGB and sparse depth as inputs to our model and produces a dense depth map and the corresponding semantic segmentation image. It consists of a feature extractor, a depth completion branch, a semantic segmentation branch and a joint branch which further processes semantic and depth information altogether. The experiments done on Virtual KITTI 2 dataset, demonstrate and provide further evidence, that combining both tasks, semantic segmentation and depth completion, in a multi-task network can effectively improve the performance of each task. Code is available at https://github.com/juanb09111/semantic depth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google