SupeRGB-D: Zero-shot Instance Segmentation in Cluttered Indoor Environments

要約

オブジェクト インスタンスのセグメンテーションは、小さなオブジェクトが多数ある雑然とした環境をナビゲートする屋内ロボットにとって重要な課題です。
多くの場合、3D センシング機能の制限により、考えられるすべてのオブジェクトを検出することが困難になります。
この問題には深層学習のアプローチが有効かもしれませんが、教師あり学習のために 3D データに手動で注釈を付けるには時間がかかります。
この作業では、RGB-D データからゼロ ショット インスタンス セグメンテーション (ZSIS) を調べて、セマンティック カテゴリにとらわれない方法で目に見えないオブジェクトを識別します。
テーブルトップ オブジェクト データセット (TOD-Z) のゼロ ショット分割を導入してこの研究を可能にし、注釈付きオブジェクトを使用してピクセルの「オブジェクト性」を学習し、雑然とした屋内環境で目に見えないオブジェクト カテゴリに一般化する方法を提示します。
私たちの方法である SupeRGB-D は、幾何学的手がかりに基づいてピクセルを小さなパッチにグループ化し、深い凝集クラスタリング方式でパッチをマージすることを学習します。
SupeRGB-D は、見えないオブジェクトでは既存のベースラインよりも優れたパフォーマンスを発揮し、見えるオブジェクトでは同様のパフォーマンスを達成します。
さらに、非常に軽量 (0.4 MB のメモリ要件) であり、モバイル アプリケーションやロボット アプリケーションに適しています。
データセットの分割とコードは、承認後に公開されます。

要約(オリジナル)

Object instance segmentation is a key challenge for indoor robots navigating cluttered environments with many small objects. Limitations in 3D sensing capabilities often make it difficult to detect every possible object. While deep learning approaches may be effective for this problem, manually annotating 3D data for supervised learning is time-consuming. In this work, we explore zero-shot instance segmentation (ZSIS) from RGB-D data to identify unseen objects in a semantic category-agnostic manner. We introduce a zero-shot split for Tabletop Objects Dataset (TOD-Z) to enable this study and present a method that uses annotated objects to learn the “objectness” of pixels and generalize to unseen object categories in cluttered indoor environments. Our method, SupeRGB-D, groups pixels into small patches based on geometric cues and learns to merge the patches in a deep agglomerative clustering fashion. SupeRGB-D outperforms existing baselines on unseen objects while achieving similar performance on seen objects. Additionally, it is extremely lightweight (0.4 MB memory requirement) and suitable for mobile and robotic applications. The dataset split and code will be made publicly available upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google