A Deep Learning-based Global and Segmentation-based Semantic Feature Fusion Approach for Indoor Scene Classification

要約

屋内シーンの分類は、知覚モジュールの重要なタスクになり、さまざまなアプリケーションで広く使用されています。
ただし、カテゴリ内の変動性やカテゴリ間の類似性などの問題により、モデルのパフォーマンスが低下しており、より意味のあるシーン表現を得るために新しいタイプの機能が必要になっています。
セマンティック セグメンテーション マスクは、シーンで使用可能なオブジェクトに関するピクセル レベルの情報を提供します。これにより、シーンのより意味のあるローカル表現を取得するための有望な情報源になります。
したがって、この作業では、セマンティック セグメンテーション マスクを使用して、セグメンテーション ベースのセマンティック機能 (SSF) によって指定された、シーン全体のオブジェクト カテゴリの 2D 空間レイアウトを取得する新しいアプローチが提案されています。
これらの特徴は、オブジェクト カテゴリごとに、ピクセル数、2D 平均位置、およびそれぞれの標準偏差値を表します。
さらに、RGB 画像から抽出された CNN ベースのグローバルな特徴と、提案された SSF から抽出されたセグメンテーションベースの特徴を活用する 2 ブランチ ネットワーク GS2F2App も提案されています。
GS2F2App は、SUN RGB-D と NYU Depth V2 の 2 つの屋内シーン ベンチマーク データセットで評価され、両方のデータセットで最先端の結果を達成しました。

要約(オリジナル)

Indoor scene classification has become an important task in perception modules and has been widely used in various applications. However, problems such as intra-category variability and inter-category similarity have been holding back the models’ performance, which leads to the need for new types of features to obtain a more meaningful scene representation. A semantic segmentation mask provides pixel-level information about the objects available in the scene, which makes it a promising source of information to obtain a more meaningful local representation of the scene. Therefore, in this work, a novel approach that uses a semantic segmentation mask to obtain a 2D spatial layout of the object categories across the scene, designated by segmentation-based semantic features (SSFs), is proposed. These features represent, per object category, the pixel count, as well as the 2D average position and respective standard deviation values. Moreover, a two-branch network, GS2F2App, that exploits CNN-based global features extracted from RGB images and the segmentation-based features extracted from the proposed SSFs, is also proposed. GS2F2App was evaluated in two indoor scene benchmark datasets: the SUN RGB-D and the NYU Depth V2, achieving state-of-the-art results on both datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google