Perceive Anything: Recognize, Explain, Caption, and Segment Anything in Images and Videos

要約

画像やビデオの包括的な地域レベルの視覚的理解のための概念的に簡単かつ効率的なフレームワークであるモデル（PAM）を知覚します。
私たちのアプローチは、大規模な言語モデル（LLM）を統合することにより、強力なセグメンテーションモデルSAM 2を拡張し、オブジェクトセグメンテーションを同時に、カテゴリ、ラベル定義、機能的説明、詳細なキャプションを含む多様な地域固有のセマンティック出力の生成を可能にします。
主要なコンポーネントであるセマンティックプロシバーが、Sam 2のリッチな視覚的特徴を効率的に変換するために導入されます。これは、一般的なビジョン、ローカリゼーション、およびセマンティックプライエアをLLM理解のためにマルチモーダルトークンに本質的に伝達します。
堅牢なマルチ粒度の理解をサポートするために、専用のデータ改良と増強パイプラインも開発し、1.5mの画像と0.6mのビデオレジョンセマンチックな注釈の高品質のデータセットを生成します。
PAMは軽量と効率のために設計されていますが、地域の理解タスクの多様な範囲で強力なパフォーマンスを示しています。
1.2〜2.4倍速く実行され、以前のアプローチよりもGPUメモリが少なくなり、実際のアプリケーション向けの実用的なソリューションが提供されます。
私たちの効果的なアプローチは、地域レベルの視覚的理解における将来の研究の強力なベースラインとして役立つと考えています。

要約(オリジナル)

We present Perceive Anything Model (PAM), a conceptually straightforward and efficient framework for comprehensive region-level visual understanding in images and videos. Our approach extends the powerful segmentation model SAM 2 by integrating Large Language Models (LLMs), enabling simultaneous object segmentation with the generation of diverse, region-specific semantic outputs, including categories, label definition, functional explanations, and detailed captions. A key component, Semantic Perceiver, is introduced to efficiently transform SAM 2’s rich visual features, which inherently carry general vision, localization, and semantic priors into multi-modal tokens for LLM comprehension. To support robust multi-granularity understanding, we also develop a dedicated data refinement and augmentation pipeline, yielding a high-quality dataset of 1.5M image and 0.6M video region-semantic annotations, including novel region-level streaming video caption data. PAM is designed for lightweightness and efficiency, while also demonstrates strong performance across a diverse range of region understanding tasks. It runs 1.2-2.4x faster and consumes less GPU memory than prior approaches, offering a practical solution for real-world applications. We believe that our effective approach will serve as a strong baseline for future research in region-level visual understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google