Achieving RGB-D level Segmentation Performance from a Single ToF Camera

要約

深度はコンピュータ ビジョンにおいて非常に重要なモダリティであり、通常、RGB-D カメラによって提供される RGB の補完情報として使用されます。
この研究では、単一の飛行時間 (ToF) カメラからの赤外線 (IR) および深度画像を使用したセマンティック セグメンテーション タスクで、RGB-D カメラと同じレベルの精度を得ることが可能であることを示します。
ToF カメラの IR モダリティと深度モダリティを融合するために、マルチタスク学習フレームワークで深度固有の畳み込みを利用する方法を導入します。
車内セグメンテーション データセットの評価では、よりコストのかかる RGB-D アプローチに対するこの方法の競争力を実証しました。

要約(オリジナル)

Depth is a very important modality in computer vision, typically used as complementary information to RGB, provided by RGB-D cameras. In this work, we show that it is possible to obtain the same level of accuracy as RGB-D cameras on a semantic segmentation task using infrared (IR) and depth images from a single Time-of-Flight (ToF) camera. In order to fuse the IR and depth modalities of the ToF camera, we introduce a method utilizing depth-specific convolutions in a multi-task learning framework. In our evaluation on an in-car segmentation dataset, we demonstrate the competitiveness of our method against the more costly RGB-D approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google