Grounded SAM: Assembling Open-World Models for Diverse Visual Tasks

要約

Grounding DINO をオープンセット オブジェクト検出器として使用し、セグメント エニシング モデル (SAM) と組み合わせる、Grounded SAM を紹介します。
この統合により、任意のテキスト入力に基づいて領域の検出とセグメンテーションが可能になり、さまざまなビジョン モデルの接続への扉が開きます。
図 1 に示すように、汎用性の高いグラウンデッド SAM パイプラインを使用することで、幅広いビジョン タスクを実現できます。
たとえば、入力画像のみに基づく自動アノテーション パイプラインは、BLIP や Recognize Anything などのモデルを組み込むことで実現できます。
さらに、Stable-Diffusion を組み込むことで制御可能な画像編集が可能になり、OSX の統合により迅速な 3D 人間の動作分析が容易になります。
Grounding SAM はオープンボキャブラリーベンチマークでも優れたパフォーマンスを示し、Grounding DINO-Base モデルと SAM-Huge モデルを組み合わせた SegInW (Segmentation in the Wild) ゼロショット ベンチマークで平均 AP 48.7 を達成しました。

要約(オリジナル)

We introduce Grounded SAM, which uses Grounding DINO as an open-set object detector to combine with the segment anything model (SAM). This integration enables the detection and segmentation of any regions based on arbitrary text inputs and opens a door to connecting various vision models. As shown in Fig.1, a wide range of vision tasks can be achieved by using the versatile Grounded SAM pipeline. For example, an automatic annotation pipeline based solely on input images can be realized by incorporating models such as BLIP and Recognize Anything. Additionally, incorporating Stable-Diffusion allows for controllable image editing, while the integration of OSX facilitates promptable 3D human motion analysis. Grounded SAM also shows superior performance on open-vocabulary benchmarks, achieving 48.7 mean AP on SegInW (Segmentation in the wild) zero-shot benchmark with the combination of Grounding DINO-Base and SAM-Huge models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google