Hybridnet for depth estimation and semantic segmentation

要約

セマンティック セグメンテーションと深度推定は、画像処理の分野における 2 つの重要なタスクです。
従来、これら 2 つのタスクは独立した方法で対処されていました。
ただし、ロボット工学や自律ナビゲーションなど、幾何学的な情報と意味論的な情報が必要なアプリケーションの場合、深さまたは意味論的なセグメンテーションだけでは十分ではありません。
この論文では、ハイブリッド畳み込みネットワークを通じて、単一の入力画像から深度推定とセマンティック セグメンテーションを一緒に扱います。
両方のタスクの単一の特徴抽出ネットワークによって特徴が抽出される最先端の方法とは異なり、提案された HybridNet は、1 つのタスクに関連する特徴を両方のタスクに関連する特徴から分離することで特徴抽出を改善します。
実験結果は、HybridNet の結果が最先端の手法および HybridNet のベースとなるシングル タスク手法と同等であることを示しています。

要約(オリジナル)

Semantic segmentation and depth estimation are two important tasks in the area of image processing. Traditionally, these two tasks are addressed in an independent manner. However, for those applications where geometric and semantic information is required, such as robotics or autonomous navigation,depth or semantic segmentation alone are not sufficient. In this paper, depth estimation and semantic segmentation are addressed together from a single input image through a hybrid convolutional network. Different from the state of the art methods where features are extracted by a sole feature extraction network for both tasks, the proposed HybridNet improves the features extraction by separating the relevant features for one task from those which are relevant for both. Experimental results demonstrate that HybridNet results are comparable with the state of the art methods, as well as the single task methods that HybridNet is based on.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google