Bin-picking of novel objects through category-agnostic-segmentation: RGB matters

要約

この論文では、ロボット操作のためのカテゴリーに依存しないインスタンスのセグメンテーションについて取り上げ、動的環境でのビンピッキングなどの多用途アプリケーションを可能にするクラスに依存しないオブジェクトのセグメント化に焦点を当てています。
既存の手法には一般化性やオブジェクト固有の情報が欠けていることが多く、把握の失敗につながります。
オブジェクト中心のインスタンス セグメンテーションとシミュレーション ベースのトレーニングを活用して、現実世界のシナリオに効果的に移行するための新しいアプローチを紹介します。
特に、私たちの戦略はノイズの多い深度センサーによってもたらされる課題を克服し、学習の信頼性を高めます。
当社のソリューションは、深さに基づく把握方法ではこれまで困難であった透明および半透明のオブジェクトに対応します。
貢献には、転送を成功させるためのドメインのランダム化、倉庫アプリケーション用に収集されたデータセット、効率的なビンピッキングのための統合フレームワークが含まれます。
トレーニングされたインスタンス セグメンテーション モデルは、WISDOM 公開ベンチマーク [1] だけでなく、カスタム作成されたデータセットでも最先端のパフォーマンスを実現します。
実際の困難なビンピッキング設定において、当社のビンピッキング フレームワーク手法は、不透明なオブジェクトに対して 98% の精度、非不透明なオブジェクトに対して 97% の精度を達成し、最先端のベースラインを大幅に上回ります。

要約(オリジナル)

This paper addresses category-agnostic instance segmentation for robotic manipulation, focusing on segmenting objects independent of their class to enable versatile applications like bin-picking in dynamic environments. Existing methods often lack generalizability and object-specific information, leading to grasp failures. We present a novel approach leveraging object-centric instance segmentation and simulation-based training for effective transfer to real-world scenarios. Notably, our strategy overcomes challenges posed by noisy depth sensors, enhancing the reliability of learning. Our solution accommodates transparent and semi-transparent objects which are historically difficult for depth-based grasping methods. Contributions include domain randomization for successful transfer, our collected dataset for warehouse applications, and an integrated framework for efficient bin-picking. Our trained instance segmentation model achieves state-of-the-art performance over WISDOM public benchmark [1] and also over the custom-created dataset. In a real-world challenging bin-picking setup our bin-picking framework method achieves 98% accuracy for opaque objects and 97% accuracy for non-opaque objects, outperforming the state-of-the-art baselines with a greater margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google