Zero-shot Action Localization via the Confidence of Large Vision-Language Models

要約

プロスポーツや低侵襲手術などの分野では、トリミングされていないビデオでの正確なアクションの位置特定が不可欠であり、記録内の特定の動作の描写により分析が大幅に強化されます。
しかし、多くの場合、ローカリゼーション用のビデオとラベルのペアを含む大規模なデータセットが利用できないため、ビデオ理解モデルを微調整する機会が制限されます。
ラージ ビジョン言語モデル (LVLM) の最近の開発では、さまざまなビデオ理解タスクにおける優れたゼロショット機能により、このニーズに対応しています。
ただし、強力な視覚的な質問応答機能を備えた画像ベースの LVLM を、長い形式のビデオでのアクションの位置特定に適応させることは、まだ比較的未開発です。
この目的を達成するために、真のゼロショット アクション ローカリゼーション メソッド (ZEAL) を導入します。
具体的には、大規模言語モデル (LLM) に組み込まれたアクションの知識を活用して、アクションを、アクションの典型的な開始と終了に関する非常に詳細な記述に膨らませます。
これらの記述は、ローカリゼーション出力を生成するために集約できるフレームレベルの信頼スコアを生成するための LVLM へのクエリとして機能します。
私たちの手法のシンプルさと柔軟性により、より有能な LVLM の開発に適しており、トレーニングなしで、難しいベンチマークでゼロショット アクションの位置特定において顕著な結果を示しています。

要約(オリジナル)

Precise action localization in untrimmed video is vital for fields such as professional sports and minimally invasive surgery, where the delineation of particular motions in recordings can dramatically enhance analysis. But in many cases, large scale datasets with video-label pairs for localization are unavailable, limiting the opportunity to fine-tune video-understanding models. Recent developments in large vision-language models (LVLM) address this need with impressive zero-shot capabilities in a variety of video understanding tasks. However, the adaptation of image-based LVLMs, with their powerful visual question answering capabilities, to action localization in long-form video is still relatively unexplored. To this end, we introduce a true ZEro-shot Action Localization method (ZEAL). Specifically, we leverage the built-in action knowledge of a large language model (LLM) to inflate actions into highly-detailed descriptions of the archetypal start and end of the action. These descriptions serve as queries to LVLM for generating frame-level confidence scores which can be aggregated to produce localization outputs. The simplicity and flexibility of our method lends it amenable to more capable LVLMs as they are developed, and we demonstrate remarkable results in zero-shot action localization on a challenging benchmark, without any training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google