Tube-Link: A Flexible Cross Tube Baseline for Universal Video Segmentation

要約

ビデオ セグメンテーションの目標は、さまざまなシナリオですべてのピクセルを正確にセグメント化し、追跡することです。
このホワイト ペーパーでは、統合されたアーキテクチャを使用してビデオ セグメンテーションの複数のコア タスクに対応する汎用フレームワークである Tube-Link を紹介します。
私たちのフレームワークは、短いサブクリップを入力として受け取り、対応する時空間チューブ マスクを出力する、ほぼオンラインのアプローチです。
クロスチューブ関係のモデリングを強化するために、クエリに沿った注意を介してチューブレベルのリンクを実行する効果的な方法を提案します。
さらに、チューブレベルの関連付けのためのインスタンスごとの識別機能に時間的対照学習を導入します。
データセットやシナリオのニーズに応じて各サブクリップの長さを変えることができるため、私たちのアプローチは短いビデオ入力と長いビデオ入力の両方に柔軟性と効率性を提供します。
Tube-Link は、5 つのビデオ セグメンテーション データセットで、既存の特殊なアーキテクチャよりも大幅に優れています。
具体的には、VIPSeg でほぼ 13% の相対的な改善を達成し、KITTI-STEP で強力なベースラインのビデオ K-Net よりも 4% の改善を達成しています。
Youtube-VIS-2019 と 2021 で ResNet50 バックボーンを使用すると、Tube-Link は IDOL をそれぞれ 3% と 4% 増加させます。
コードが利用可能になります。

要約(オリジナル)

The goal of video segmentation is to accurately segment and track every pixel in diverse scenarios. In this paper, we present Tube-Link, a versatile framework that addresses multiple core tasks of video segmentation with a unified architecture. Our framework is a near-online approach that takes a short subclip as input and outputs the corresponding spatial-temporal tube masks. To enhance the modeling of cross-tube relationships, we propose an effective way to perform tube-level linking via attention along the queries. In addition, we introduce temporal contrastive learning to instance-wise discriminative features for tube-level association. Our approach offers flexibility and efficiency for both short and long video inputs, as the length of each subclip can be varied according to the needs of datasets or scenarios. Tube-Link outperforms existing specialized architectures by a significant margin on five video segmentation datasets. Specifically, it achieves almost 13% relative improvements on VIPSeg and 4% improvements on KITTI-STEP over the strong baseline Video K-Net. When using a ResNet50 backbone on Youtube-VIS-2019 and 2021, Tube-Link boosts IDOL by 3% and 4%, respectively. Code will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google