SAM 2: Segment Anything in Images and Videos

要約

本論文では、画像や動画におけるプロンプト可能な視覚的セグメンテーションを解決するための基礎モデルであるSegment Anything Model 2 (SAM 2)を紹介する。我々は、これまでで最大のビデオセグメンテーションデータセットを収集するために、ユーザーインタラクションによってモデルとデータを改善するデータエンジンを構築する。我々のモデルは、リアルタイムビデオ処理のためのストリーミングメモリを備えた単純な変換アーキテクチャである。我々のデータで訓練されたSAM 2は、幅広いタスクで強力な性能を発揮する。ビデオセグメンテーションでは、従来のアプローチよりも3倍少ないインタラクション数で、より高い精度が確認された。画像セグメンテーションでは、我々のモデルはSegment Anything Model (SAM)よりも精度が高く、6倍高速である。我々は、我々のデータ、モデル、そして洞察が、ビデオセグメンテーションと関連する知覚タスクにとって重要なマイルストーンになると信じている。私たちのモデルのバージョン、データセット、インタラクティブなデモを公開します。

要約(オリジナル)

We present Segment Anything Model 2 (SAM 2), a foundation model towards solving promptable visual segmentation in images and videos. We build a data engine, which improves model and data via user interaction, to collect the largest video segmentation dataset to date. Our model is a simple transformer architecture with streaming memory for real-time video processing. SAM 2 trained on our data provides strong performance across a wide range of tasks. In video segmentation, we observe better accuracy, using 3x fewer interactions than prior approaches. In image segmentation, our model is more accurate and 6x faster than the Segment Anything Model (SAM). We believe that our data, model, and insights will serve as a significant milestone for video segmentation and related perception tasks. We are releasing a version of our model, the dataset and an interactive demo.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL