MVIP — A Dataset and Methods for Application Oriented Multi-View and Multi-Modal Industrial Part Recognition

要約

マルチモーダルおよびマルチビューアプリケーション指向の産業部品認識の新しいデータセットであるMVIPを提示します。
ここでは、キャリブレーションされたRGBDマルチビューデータセットを、物理的特性、自然言語、スーパークラスなどの追加のオブジェクトコンテキストと組み合わせた最初の人です。
利用可能なデータセットの現在のポートフォリオは、関連する方法を設計およびベンチマークするための幅広い表現を提供します。
既存の分類の課題とは対照的に、産業認識アプリケーションは制御されたマルチモーダル環境を提供しますが、同時に、従来の2D/3D分類の課題とは異なる問題を抱えています。
多くの場合、産業用アプリケーションは、コストと時間の制約の下で、トレーニングデータの数、視覚的に類似した部分、およびさまざまなオブジェクトサイズを扱う必要がありますが、さまざまなオブジェクトサイズを扱う必要があります。
現在の方法はそのような課題に個別に取り組んでいますが、産業用途内でこれらの方法を直接採用することは複雑であり、さらなる研究が必要です。
MVIPの主な目標は、産業分類器の効率的な展開に向けて、関連するダウンストリームタスク内のさまざまな最先端の方法の移転性を研究およびプッシュすることです。
さらに、単一のアプリケーション指向のベンチマークで組み合わせた、いくつかのモダリティ融合トピック、（自動化された）合成データ生成、および複雑なデータサンプリングに関するMVIP研究を推進する予定です。

要約(オリジナル)

We present MVIP, a novel dataset for multi-modal and multi-view application-oriented industrial part recognition. Here we are the first to combine a calibrated RGBD multi-view dataset with additional object context such as physical properties, natural language, and super-classes. The current portfolio of available datasets offers a wide range of representations to design and benchmark related methods. In contrast to existing classification challenges, industrial recognition applications offer controlled multi-modal environments but at the same time have different problems than traditional 2D/3D classification challenges. Frequently, industrial applications must deal with a small amount or increased number of training data, visually similar parts, and varying object sizes, while requiring a robust near 100% top 5 accuracy under cost and time constraints. Current methods tackle such challenges individually, but direct adoption of these methods within industrial applications is complex and requires further research. Our main goal with MVIP is to study and push transferability of various state-of-the-art methods within related downstream tasks towards an efficient deployment of industrial classifiers. Additionally, we intend to push with MVIP research regarding several modality fusion topics, (automated) synthetic data generation, and complex data sampling — combined in a single application-oriented benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google