A Survey on Segment Anything Model (SAM): Vision Foundation Model Meets Prompt Engineering

要約

Meta AI Research社が開発したSegment anything model (SAM)は、最近大きな注目を集めている。10億以上のマスクからなる大規模なセグメンテーションデータセットで学習されたSAMは、ある画像上のあらゆる物体をセグメンテーションすることができる。オリジナルのSAMの研究では、著者らはSAMの性能を評価するために、（エッジ検出のような）ゼロショート転送タスクに注目した。近年、オブジェクトを認識し、セグメンテーションするためのさまざまなシナリオにおいて、SAMの性能を調査する試みが数多く行われている。さらに、接地DINO、安定拡散、ChatGPTなど、他のモデルと組み合わせることで、基礎モデルとしてのSAMの汎用性を示すプロジェクトも数多く登場している。関連する論文やプロジェクトは指数関数的に増加しており、読者がSAMの発展に追いつくことは困難である。このため、本書ではSAMに関する初めての包括的なサーベイを行う。これは現在進行中のプロジェクトであり、定期的に原稿を更新するつもりである。そのため、読者の皆様はSAMに関連する新しい著作が完成した場合、次のバージョンに掲載できるよう、ご連絡を歓迎する。

要約(オリジナル)

Segment anything model (SAM) developed by Meta AI Research has recently attracted significant attention. Trained on a large segmentation dataset of over 1 billion masks, SAM is capable of segmenting any object on a certain image. In the original SAM work, the authors turned to zero-short transfer tasks (like edge detection) for evaluating the performance of SAM. Recently, numerous works have attempted to investigate the performance of SAM in various scenarios to recognize and segment objects. Moreover, numerous projects have emerged to show the versatility of SAM as a foundation model by combining it with other models, like Grounding DINO, Stable Diffusion, ChatGPT, etc. With the relevant papers and projects increasing exponentially, it is challenging for the readers to catch up with the development of SAM. To this end, this work conducts the first yet comprehensive survey on SAM. This is an ongoing project and we intend to update the manuscript on a regular basis. Therefore, readers are welcome to contact us if they complete new works related to SAM so that we can include them in our next version.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL