OneVOS: Unifying Video Object Segmentation with All-in-One Transformer Framework

要約

現在のビデオ オブジェクト セグメンテーション (VOS) アプローチは、通常、特徴抽出、マッチング、メモリ管理、および複数のオブジェクトの集約の段階で構成されます。
最近の高度なモデルでは、これらのコンポーネントの離散モデリングを逐次的に採用するか、部分構造の集約を通じて結合されたパイプラインを最適化します。
ただし、これらの既存の明示的な段階的アプローチでは、VOS フレームワークを統合した全体として最適化することができず、複雑なビデオに取り組む際の容量が制限され、最適なパフォーマンスが得られません。
この論文では、VOS のコアコンポーネントを All-in-One Transformer と統合する新しいフレームワークである OneVOS を提案します。
具体的には、前述のすべてのモジュールをビジョン トランスフォーマーに統合するために、複数のオブジェクトのフレーム、マスク、メモリのすべての特徴をトランスフォーマー トークンとしてモデル化し、柔軟なアテンション メカニズムを通じて複数のオブジェクトの特徴抽出、マッチング、メモリ管理を統合的に実現します。
さらに、OneVOS フレームワークに保存されているトークンのセマンティック エラーと曖昧さを修正するために、元のアテンション操作を二重に分離することにより、一方向ハイブリッド アテンションが提案されています。
最後に、ストレージの負担を軽減し、推論を迅速化するために、OneVOS の動作メカニズムを明らかにし、自然に OneVOS のより効率的なバージョンにつながる Dynamic Token Selector を提案します。
広範な実験により、OneVOS の優位性が実証され、7 つのデータセットにわたって最先端のパフォーマンスを達成し、特に複雑な LVOS および MOSE データセットで 70.1% および 66.4% の $J \& F$ スコアを達成し、以前の最先端のパフォーマンスを上回りました。
-art メソッドはそれぞれ 4.2% と 7.0% 増加しました。
そして、私たちのコードは再現性とさらなる研究のために利用できるようになります。

要約(オリジナル)

Contemporary Video Object Segmentation (VOS) approaches typically consist stages of feature extraction, matching, memory management, and multiple objects aggregation. Recent advanced models either employ a discrete modeling for these components in a sequential manner, or optimize a combined pipeline through substructure aggregation. However, these existing explicit staged approaches prevent the VOS framework from being optimized as a unified whole, leading to the limited capacity and suboptimal performance in tackling complex videos. In this paper, we propose OneVOS, a novel framework that unifies the core components of VOS with All-in-One Transformer. Specifically, to unify all aforementioned modules into a vision transformer, we model all the features of frames, masks and memory for multiple objects as transformer tokens, and integrally accomplish feature extraction, matching and memory management of multiple objects through the flexible attention mechanism. Furthermore, a Unidirectional Hybrid Attention is proposed through a double decoupling of the original attention operation, to rectify semantic errors and ambiguities of stored tokens in OneVOS framework. Finally, to alleviate the storage burden and expedite inference, we propose the Dynamic Token Selector, which unveils the working mechanism of OneVOS and naturally leads to a more efficient version of OneVOS. Extensive experiments demonstrate the superiority of OneVOS, achieving state-of-the-art performance across 7 datasets, particularly excelling in complex LVOS and MOSE datasets with 70.1% and 66.4% $J \& F$ scores, surpassing previous state-of-the-art methods by 4.2% and 7.0%, respectively. And our code will be available for reproducibility and further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google