SemSegDepth: A Combined Model for Semantic Segmentation and Depth Completion

要約

シーンの全体的な理解は、自律マシンのパフォーマンスにとって極めて重要です。
この論文では、セマンティック セグメンテーションと深度補完を組み合わせて実行するための新しいエンドツーエンド モデルを提案します。
最近のアプローチの大部分は、セマンティック セグメンテーションと深度補完を独立したタスクとして開発しました。
私たちのアプローチは、モデルへの入力として RGB とスパース深度に依存し、密な深度マップと対応するセマンティック セグメンテーション イメージを生成します。
これは、特徴抽出器、深度補完ブランチ、セマンティック セグメンテーション ブランチ、およびセマンティック情報と深度情報をまとめてさらに処理する結合ブランチで構成されます。
Virtual KITTI 2 データセットで行われた実験は、マルチタスク ネットワーク内でセマンティック セグメンテーションと深度補完の両方のタスクを組み合わせることで、各タスクのパフォーマンスを効果的に向上できることを実証し、さらなる証拠を提供します。
コードは https://github.com/juanb09111/semantic Depth で入手できます。

要約(オリジナル)

Holistic scene understanding is pivotal for the performance of autonomous machines. In this paper we propose a new end-to-end model for performing semantic segmentation and depth completion jointly. The vast majority of recent approaches have developed semantic segmentation and depth completion as independent tasks. Our approach relies on RGB and sparse depth as inputs to our model and produces a dense depth map and the corresponding semantic segmentation image. It consists of a feature extractor, a depth completion branch, a semantic segmentation branch and a joint branch which further processes semantic and depth information altogether. The experiments done on Virtual KITTI 2 dataset, demonstrate and provide further evidence, that combining both tasks, semantic segmentation and depth completion, in a multi-task network can effectively improve the performance of each task. Code is available at https://github.com/juanb09111/semantic depth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google