Tube-Link: A Flexible Cross Tube Framework for Universal Video Segmentation

要約

ビデオ セグメンテーションは、さまざまなシナリオですべてのピクセルを正確にセグメント化して追跡することを目的としています。
このペーパーでは、統一されたアーキテクチャでビデオ セグメンテーションの複数のコア タスクに対処する多用途フレームワークである Tube-Link について説明します。
私たちのフレームワークは、短いサブクリップを入力として受け取り、対応する時空間チューブ マスクを出力する、オンラインに近いアプローチです。
クロスチューブ関係のモデリングを強化するために、クエリに沿ったアテンションを介してチューブレベルのリンクを実行する効果的な方法を提案します。
さらに、チューブレベルの関連付けのためのインスタンスごとの識別特徴に時間対比学習を導入します。
私たちのアプローチは、データセットやシナリオのニーズに応じて各サブクリップの長さを変更できるため、短いビデオ入力と長いビデオ入力の両方に柔軟性と効率性を提供します。
Tube-Link は、5 つのビデオ セグメンテーション データセットにおいて、既存の特殊なアーキテクチャを大幅に上回ります。
具体的には、強力なベースラインのビデオ K-Net と比較して、VIPSeg でほぼ 13% の相対的な改善、KITTI-STEP で 4% の改善を達成しています。
Youtube-VIS-2019 および 2021 で ResNet50 バックボーンを使用すると、Tube-Link は IDOL をそれぞれ 3% および 4% 向上させます。

要約(オリジナル)

Video segmentation aims to segment and track every pixel in diverse scenarios accurately. In this paper, we present Tube-Link, a versatile framework that addresses multiple core tasks of video segmentation with a unified architecture. Our framework is a near-online approach that takes a short subclip as input and outputs the corresponding spatial-temporal tube masks. To enhance the modeling of cross-tube relationships, we propose an effective way to perform tube-level linking via attention along the queries. In addition, we introduce temporal contrastive learning to instance-wise discriminative features for tube-level association. Our approach offers flexibility and efficiency for both short and long video inputs, as the length of each subclip can be varied according to the needs of datasets or scenarios. Tube-Link outperforms existing specialized architectures by a significant margin on five video segmentation datasets. Specifically, it achieves almost 13% relative improvements on VIPSeg and 4% improvements on KITTI-STEP over the strong baseline Video K-Net. When using a ResNet50 backbone on Youtube-VIS-2019 and 2021, Tube-Link boosts IDOL by 3% and 4%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google