Guided SAM: Label-Efficient Part Segmentation

要約

オブジェクトの部品の位置を正確に特定することは、オブジェクト認識やロボット操作などのタスクに不可欠です。
最近の部品分割方法では、広範なトレーニング データと労力を要する注釈が必要です。
Segment-Anything Model (SAM) は、広範囲のセグメンテーション問題に対して良好なパフォーマンスを示していますが、セグメント化する場所をガイドするために (手動の) 位置プロンプトが必要です。
さらに、オブジェクトの部分ではなくオブジェクト全体でトレーニングされているため、部分が過度に分割される傾向があります。
これに対処するために、SAM を関連するオブジェクト部分に導く新しいアプローチを提案します。
私たちの方法は、より簡単かつ安価に取得できる粗いパッチ注釈から位置プロンプトを学習します。
画像パッチ上で分類子をトレーニングして部品クラスを識別し、位置プロンプトを使用してパッチを関心領域 (ROI) に集約します。
SAM は、これらの ROI とプロンプトに基づいて条件付けされます。
「ガイド付き SAM」と呼ばれるこのアプローチは、効率を高めて手作業を軽減し、最小限のラベル付きデータで効果的なパーツのセグメント化を可能にします。
私たちは、自動車部品のデータセットに対する Guided SAM の有効性を実証し、最新モデルの平均 IoU を 0.37 から 0.49 に改善し、アノテーションの取得効率が平均 5 倍向上しました。

要約(オリジナル)

Localizing object parts precisely is essential for tasks such as object recognition and robotic manipulation. Recent part segmentation methods require extensive training data and labor-intensive annotations. Segment-Anything Model (SAM) has demonstrated good performance on a wide range of segmentation problems, but requires (manual) positional prompts to guide it where to segment. Furthermore, since it has been trained on full objects instead of object parts, it is prone to over-segmentation of parts. To address this, we propose a novel approach that guides SAM towards the relevant object parts. Our method learns positional prompts from coarse patch annotations that are easier and cheaper to acquire. We train classifiers on image patches to identify part classes and aggregate patches into regions of interest (ROIs) with positional prompts. SAM is conditioned on these ROIs and prompts. This approach, termed `Guided SAM’, enhances efficiency and reduces manual effort, allowing effective part segmentation with minimal labeled data. We demonstrate the efficacy of Guided SAM on a dataset of car parts, improving the average IoU on state of the art models from 0.37 to 0.49 with annotations that are on average five times more efficient to acquire.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google