Describe Anything: Detailed Localized Image and Video Captioning

要約

画像やビデオで特定の領域の詳細かつ正確な説明を生成することは、ビジョン言語モデルにとって根本的な課題のままです。
詳細なローカライズされたキャプション（DLC）向けに設計されたモデルであるDescribth Anyty Model（DAM）を紹介します。
DAMは、2つの重要な革新を通じて、ローカルの詳細とグローバルコンテキストの両方を保持します。これは、ターゲット領域の高解像度エンコードを保証する焦点プロンプトと、より広いコンテキストと正確なローカリゼーションを統合するローカライズされたビジョンバックボーンです。
高品質のDLCデータの希少性に取り組むために、半監視学習（SSL）ベースのデータパイプライン（DLC-SDP）を提案します。
DLC-SDPは、既存のセグメンテーションデータセットから始まり、SSLを使用して非標識Web画像に拡張します。
参照キャプションに依存せずにDLCを評価するために設計されたベンチマークであるDLC-Benchを紹介します。
DAMは、キーワードレベル、フレーズレベル、および詳細なマルチセンテンスローカライズされた画像とビデオキャプションにまたがる7つのベンチマークに新しい最先端の最先端を設定します。

要約(オリジナル)

Generating detailed and accurate descriptions for specific regions in images and videos remains a fundamental challenge for vision-language models. We introduce the Describe Anything Model (DAM), a model designed for detailed localized captioning (DLC). DAM preserves both local details and global context through two key innovations: a focal prompt, which ensures high-resolution encoding of targeted regions, and a localized vision backbone, which integrates precise localization with its broader context. To tackle the scarcity of high-quality DLC data, we propose a Semi-supervised learning (SSL)-based Data Pipeline (DLC-SDP). DLC-SDP starts with existing segmentation datasets and expands to unlabeled web images using SSL. We introduce DLC-Bench, a benchmark designed to evaluate DLC without relying on reference captions. DAM sets new state-of-the-art on 7 benchmarks spanning keyword-level, phrase-level, and detailed multi-sentence localized image and video captioning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google