SKU-Patch: Towards Efficient Instance Segmentation for Unseen Objects in Auto-Store

要約

大規模な倉庫では、ロボットによる箱ピッキングには正確なインスタンスマスクが不可欠ですが、入手するのは困難です。
既存のインスタンスのセグメンテーション方法は通常、単一の Stock Keeping Unit (SKU) ごとにシーンの収集、マスクの注釈付け、およびネットワークの微調整という面倒なプロセスに依存しています。
このペーパーでは、新しいパッチ ガイド付きインスタンス セグメンテーション ソリューションである SKU-Patch について説明します。これは、退屈な手作業やモデルの再トレーニングを行わずに、受信される新しい SKU ごとに少数のイメージ パッチのみを利用して、正確で堅牢なマスクを予測します。
技術的には、(i) パッチ情報によって調整されたマルチレベル画像特徴をキャプチャするパッチ画像相関エンコーダーと、(ii) インスタンスを生成する並列タスク ヘッドを備えたパッチ対応トランス デコーダーを備えた新しいトランスフォーマー ベースのネットワークを設計します。
マスク。
4 つのストアハウス ベンチマークに関する広範な実験により、SKU-Patch が最先端の方法よりも最高のパフォーマンスを達成できることが明らかになりました。
また、SKU-Patch は、ロボット支援の自動店舗物流パイプライン内の 50 以上の目に見えない SKU で平均ほぼ 100% の把握成功率を達成し、その有効性と実用性を示しています。

要約(オリジナル)

In large-scale storehouses, precise instance masks are crucial for robotic bin picking but are challenging to obtain. Existing instance segmentation methods typically rely on a tedious process of scene collection, mask annotation, and network fine-tuning for every single Stock Keeping Unit (SKU). This paper presents SKU-Patch, a new patch-guided instance segmentation solution, leveraging only a few image patches for each incoming new SKU to predict accurate and robust masks, without tedious manual effort and model re-training. Technical-wise, we design a novel transformer-based network with (i) a patch-image correlation encoder to capture multi-level image features calibrated by patch information and (ii) a patch-aware transformer decoder with parallel task heads to generate instance masks. Extensive experiments on four storehouse benchmarks manifest that SKU-Patch is able to achieve the best performance over the state-of-the-art methods. Also, SKU-Patch yields an average of nearly 100% grasping success rate on more than 50 unseen SKUs in a robot-aided auto-store logistic pipeline, showing its effectiveness and practicality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google