DeVIS: Making Deformable Transformers Work for Video Instance Segmentation

要約

ビデオインスタンスセグメンテーション（VIS）は、ビデオシーケンスでのマルチオブジェクトの検出、追跡、およびセグメンテーションに共同で取り組みます。
これまで、VISメソッドは、アーキテクチャ設計におけるこれらのサブタスクの断片化を反映していたため、共同ソリューションを見逃していました。
トランスフォーマーは最近、VISタスク全体を単一のセット予測問題としてキャストすることを許可しました。
それにもかかわらず、既存のTransformerベースの方法の二次の複雑さは、長いトレーニング時間、高いメモリ要件、および低シングルスケールのフィーチャマップの処理を必要とします。
変形可能な注意は、より効率的な代替手段を提供しますが、時間領域またはセグメンテーションタスクへのその適用はまだ検討されていません。
この作業では、変形可能な変圧器の効率と性能を利用するVISメソッドである変形可能なVIS（DeVIS）を紹介します。
複数のフレームにわたって共同ですべてのVISサブタスクについて推論するために、インスタンス認識オブジェクトクエリを使用して一時的なマルチスケールの変形可能な注意を示します。
さらに、マルチスケール機能を備えた新しい画像およびビデオインスタンスマスクヘッドを導入し、マルチキュークリップトラッキングを使用してほぼオンラインのビデオ処理を実行します。
DeVISは、メモリとトレーニング時間の要件を削減し、YouTube-VIS 2021と、やりがいのあるOVISデータセットで最先端の結果を実現します。
コードはhttps://github.com/acaelles97/DeVISで入手できます。

要約(オリジナル)

Video Instance Segmentation (VIS) jointly tackles multi-object detection, tracking, and segmentation in video sequences. In the past, VIS methods mirrored the fragmentation of these subtasks in their architectural design, hence missing out on a joint solution. Transformers recently allowed to cast the entire VIS task as a single set-prediction problem. Nevertheless, the quadratic complexity of existing Transformer-based methods requires long training times, high memory requirements, and processing of low-single-scale feature maps. Deformable attention provides a more efficient alternative but its application to the temporal domain or the segmentation task have not yet been explored. In this work, we present Deformable VIS (DeVIS), a VIS method which capitalizes on the efficiency and performance of deformable Transformers. To reason about all VIS subtasks jointly over multiple frames, we present temporal multi-scale deformable attention with instance-aware object queries. We further introduce a new image and video instance mask head with multi-scale features, and perform near-online video processing with multi-cue clip tracking. DeVIS reduces memory as well as training time requirements, and achieves state-of-the-art results on the YouTube-VIS 2021, as well as the challenging OVIS dataset. Code is available at https://github.com/acaelles97/DeVIS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google