SAMAug: Point Prompt Augmentation for Segment Anything Model

要約

この文書では、インタラクティブな画像セグメンテーションのパフォーマンスを強化する、Segment Anything Model (SAM) の新しい視点拡張手法である SAMAug を紹介します。
SAMAug は、SAM に詳細な情報を提供するための拡張ポイント プロンプトを生成します。
SAM は初期ポイント プロンプトから初期マスクを生成し、それが提案された SAMAug に入力されて拡張ポイント プロンプトが生成されます。
これらの追加のポイントを組み込むことにより、SAM は拡張ポイント プロンプトと初期プロンプトに基づいて拡張セグメンテーション マスクを生成できるため、セグメンテーションのパフォーマンスが向上します。
ランダム選択、最大差分エントロピー、最大距離、顕著性モデルの 4 つの点拡張技術を評価します。
COCO、眼底、および胸部 X 線データセットの実験では、SAMAug が、特に最大距離および顕著性モデル手法を使用して SAM のセグメンテーション結果を向上できることが実証されています。
SAMAug は、インタラクティブなコンピューター ビジョン モデルを進歩させるビジュアル プロンプト エンジニアリングの可能性を強調しています。

要約(オリジナル)

This paper introduces SAMAug, a novel visual point augmentation method for the Segment Anything Model (SAM) that enhances interactive image segmentation performance. SAMAug generates augmented point prompts to provide more information to SAM. From the initial point prompt, SAM produces the initial mask, which is then fed into our proposed SAMAug to generate augmented point prompts. By incorporating these extra points, SAM can generate augmented segmentation masks based on the augmented point prompts and the initial prompt, resulting in improved segmentation performance. We evaluate four point augmentation techniques: random selection, maximum difference entropy, maximum distance, and a saliency model. Experiments on the COCO, Fundus, and Chest X-ray datasets demonstrate that SAMAug can boost SAM’s segmentation results, especially using the maximum distance and saliency model methods. SAMAug underscores the potential of visual prompt engineering to advance interactive computer vision models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google