CNOS: A Strong Baseline for CAD-based Novel Object Segmentation

要約

RGB画像中の未知のオブジェクトを、そのCADモデルを用いてセグメント化する、シンプルな3段階のアプローチを提案する。最近の強力な基礎モデルであるDINOv2とSegment Anythingを活用し、与えられた入力RGB画像に対して、記述子を作成し、バイナリマスクを含むプロポーザルを生成する。CADモデルから作成された参照記述子とプロポーザルをマッチングさせることにより、モーダルマスクとともに正確なオブジェクトIDの割り当てを実現する。我々は、BOPチャレンジの7つのコアデータセットにおいて、同じBOP評価プロトコルを用いて、既存のアプローチを19.8%AP上回り、CADベースの新規オブジェクトセグメンテーションにおいて最先端の結果を達成したことを実験的に実証する。ソースコードはhttps://github.com/nv-nguyen/cnos。

要約(オリジナル)

We propose a simple three-stage approach to segment unseen objects in RGB images using their CAD models. Leveraging recent powerful foundation models, DINOv2 and Segment Anything, we create descriptors and generate proposals, including binary masks for a given input RGB image. By matching proposals with reference descriptors created from CAD models, we achieve precise object ID assignment along with modal masks. We experimentally demonstrate that our method achieves state-of-the-art results in CAD-based novel object segmentation, surpassing existing approaches on the seven core datasets of the BOP challenge by 19.8% AP using the same BOP evaluation protocol. Our source code is available at https://github.com/nv-nguyen/cnos.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL