Hierarchical Material Recognition from Local Appearance

要約

地元の外観から階層的認識のために資料の分類法を紹介します。
私たちの分類法はビジョンアプリケーションによって動機付けられており、材料の物理的特性に従って配置されています。
分類クラスの画像と深度マップを備えた、多様な内部データセットを提供します。
分類法とデータセットを利用して、グラフ注意ネットワークに基づいて階層的な材料認識の方法を提示します。
私たちのモデルは、クラス間の分類学的近接性を活用し、最先端のパフォーマンスを達成します。
不利な現実世界のイメージング条件に一般化するモデルの可能性を実証し、深さマップを使用してレンダリングされた新しいビューはこの機能を高めることができます。
最後に、いくつかのショット学習設定で新しい素材を迅速に学習するモデルの能力を示します。

要約(オリジナル)

We introduce a taxonomy of materials for hierarchical recognition from local appearance. Our taxonomy is motivated by vision applications and is arranged according to the physical traits of materials. We contribute a diverse, in-the-wild dataset with images and depth maps of the taxonomy classes. Utilizing the taxonomy and dataset, we present a method for hierarchical material recognition based on graph attention networks. Our model leverages the taxonomic proximity between classes and achieves state-of-the-art performance. We demonstrate the model’s potential to generalize to adverse, real-world imaging conditions, and that novel views rendered using the depth maps can enhance this capability. Finally, we show the model’s capacity to rapidly learn new materials in a few-shot learning setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google