CNOS: A Strong Baseline for CAD-based Novel Object Segmentation

要約

私たちは、CAD モデルを使用して RGB 画像内の目に見えないオブジェクトをセグメント化するためのシンプルな 3 段階のアプローチを提案します。
最近の強力な基盤モデルである DINOv2 と Segment Anything を活用して、記述子を作成し、特定の入力 RGB 画像のバイナリ マスクを含む提案を生成します。
提案を CAD モデルから作成された参照記述子と照合することにより、モーダル マスクとともに正確なオブジェクト ID の割り当てが実現されます。
私たちは、同じ BOP 評価プロトコルを使用して、私たちの方法が CAD ベースの新しいオブジェクト セグメンテーションで最先端の結果を達成し、BOP チャレンジの 7 つのコア データセットに対する既存のアプローチを 19.8\% AP で上回っていることを実験的に示しています。
私たちのソースコードは https://github.com/nv-nguyen/cnos で入手できます。

要約(オリジナル)

We propose a simple three-stage approach to segment unseen objects in RGB images using their CAD models. Leveraging recent powerful foundation models, DINOv2 and Segment Anything, we create descriptors and generate proposals, including binary masks for a given input RGB image. By matching proposals with reference descriptors created from CAD models, we achieve precise object ID assignment along with modal masks. We experimentally demonstrate that our method achieves state-of-the-art results in CAD-based novel object segmentation, surpassing existing approaches on the seven core datasets of the BOP challenge by 19.8\% AP using the same BOP evaluation protocol. Our source code is available at https://github.com/nv-nguyen/cnos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google