DoUnseen: Tuning-Free Class-Adaptive Object Detection of Unseen Objects for Robotic Grasping

要約

それぞれの特定のオブジェクトが独自の個別のクラスを表す場合、さまざまな数のオブジェクトをセグメント化するにはどうすればよいでしょうか?
問題をさらに現実的にするには、再トレーニングや微調整を行わずに、その場でクラスを追加および削除するにはどうすればよいでしょうか?
これは、オブジェクトのデータセットが存在しないロボット アプリケーションや、すべてのオブジェクトを学習するように単一のモデルをトレーニングすることが不可能な数千のオブジェクトを含むアプリケーション (物流など) の場合です。
ロボットによる把握のためのオブジェクト セグメンテーションに関する最新の研究は、クラスレベルのオブジェクト セグメンテーション (箱、カップ、ボトルなど)、閉集合 (データセットの特定のオブジェクト、たとえば YCB データセット)、または深層学習ベースのテンプレート マッチングに焦点を当てています。
この作業では、クラスの数が不明で変動し、オブジェクトの型についての事前知識がない開集合に興味があります。
私たちは、それぞれの特定のオブジェクトを独自の別個のクラスとみなします。
私たちの目標は、微調整を必要とせず、オブジェクトの画像を数枚キャプチャするだけで任意のオブジェクトをクラスとして追加できるオブジェクト検出器を開発することです。
私たちの主なアイデアは、クラス適応分類器によってカスケードされた目に見えないオブジェクト セグメンテーション ネットワークを組み合わせることによって、セグメンテーション パイプラインを 2 つのステップに分割することです。
目に見えないデータセットでクラス適応オブジェクト検出器を評価し、それらのデータセットでトレーニングされたマスク R-CNN と比較します。
結果は、環境設定と扱うオブジェクトによって、パフォーマンスが実用的なものから不適切なものまで変化することを示しています。
コードは DoUnseen ライブラリ リポジトリで入手できます。

要約(オリジナル)

How can we segment varying numbers of objects where each specific object represents its own separate class? To make the problem even more realistic, how can we add and delete classes on the fly without retraining or fine-tuning? This is the case of robotic applications where no datasets of the objects exist or application that includes thousands of objects (E.g., in logistics) where it is impossible to train a single model to learn all of the objects. Most current research on object segmentation for robotic grasping focuses on class-level object segmentation (E.g., box, cup, bottle), closed sets (specific objects of a dataset; for example, YCB dataset), or deep learning-based template matching. In this work, we are interested in open sets where the number of classes is unknown, varying, and without pre-knowledge about the objects’ types. We consider each specific object as its own separate class. Our goal is to develop an object detector that requires no fine-tuning and can add any object as a class just by capturing a few images of the object. Our main idea is to break the segmentation pipelines into two steps by combining unseen object segmentation networks cascaded by class-adaptive classifiers. We evaluate our class-adaptive object detector on unseen datasets and compare it to a trained Mask R-CNN on those datasets. The results show that the performance varies from practical to unsuitable depending on the environment setup and the objects being handled. The code is available in our DoUnseen library repository.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google