Towards Open-Vocabulary Video Semantic Segmentation

要約

ビデオのセマンティック セグメンテーションは、最近の研究の焦点となっています。
ただし、既存のモデルは、馴染みのないカテゴリに直面すると課題に直面します。
これに対処するために、新規または未調査のカテゴリを含む、幅広いオープン語彙カテゴリにわたってすべてのピクセルを正確にセグメント化するように設計された Open Vocabulary Video Semantic Segmentation (OV-VSS) タスクを導入します。
OV-VSS のパフォーマンスを向上させるために、時空間融合モジュールを統合する堅牢なベースライン OV2VSS を提案します。これにより、モデルが連続フレーム間の時間関係を利用できるようになります。
さらに、ランダム フレーム拡張モジュールを組み込んで、ビデオ シーケンス全体にわたるセマンティック コンテキストのモデルの理解を広げます。
私たちのアプローチにはビデオ テキスト エンコーディングも含まれており、これによりビデオ コンテキスト内のテキスト情報を解釈するモデルの機能が強化されます。
VSPW や Cityscapes などのベンチマーク データセットの包括的な評価により、特に新しいカテゴリの処理における OV-VSS のゼロショット汎化機能が強調されます。
この結果は OV2VSS の有効性を検証し、多様なビデオ データセットにわたるセマンティック セグメンテーション タスクのパフォーマンスの向上を示しています。

要約(オリジナル)

Semantic segmentation in videos has been a focal point of recent research. However, existing models encounter challenges when faced with unfamiliar categories. To address this, we introduce the Open Vocabulary Video Semantic Segmentation (OV-VSS) task, designed to accurately segment every pixel across a wide range of open-vocabulary categories, including those that are novel or previously unexplored. To enhance OV-VSS performance, we propose a robust baseline, OV2VSS, which integrates a spatial-temporal fusion module, allowing the model to utilize temporal relationships across consecutive frames. Additionally, we incorporate a random frame enhancement module, broadening the model’s understanding of semantic context throughout the entire video sequence. Our approach also includes video text encoding, which strengthens the model’s capability to interpret textual information within the video context. Comprehensive evaluations on benchmark datasets such as VSPW and Cityscapes highlight OV-VSS’s zero-shot generalization capabilities, especially in handling novel categories. The results validate OV2VSS’s effectiveness, demonstrating improved performance in semantic segmentation tasks across diverse video datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google